Posts

TL;DR: 本文推导了扩散模型中Score Function与噪声预测之间的精确数学关系，并解析了Classifier-Free Guidance的工作原理及其在采样过程中的应用。 Score Function与噪声预测的关系推导 我们将推导扩散模型中的score function $\nabla_{\mathbf{x}_t}\log p(\mathbf{x}_t)$与噪声预测 $\epsilon_\theta(\mathbf{x}_t)$ 之间的数学关系。这是一个经典的结论，笔者在阅读 Classifier-Free Guidance 的相关资料时，大多都是跳步处理，应是默认了读者有相关的背景知识。但对于想要刨根究底的读者来说，这样有些不方便，所以笔者决定写一篇笔记，详细推导一下。本文假设读者对 Diffusion 有基本的背景知识，知道前向加噪过程、逆向去噪过程、以及扩散模型的训练目标。 1. 基本前向过程 在扩散模型中，前向加噪过程定义为： $$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, I) $$ 可以改写噪声项为： $$ \boldsymbol{\epsilon} = \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1-\bar{\alpha}_t}} $$2. 条件概率分布 从加噪过程可知，给定$\mathbf{x}_0$的条件下，$\mathbf{x}_t$的条件概率分布为： $$ p(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)I) $$3. Score Function的推导 我们的目标是计算 $\nabla_{\mathbf{x}_t}\log p(\mathbf{x}_t)$。首先使用全概率公式： ...

当你向教授们申请推荐信时，如今很常见的是他们会要求你提供一个时间表、工作总结，甚至是推荐信的草稿。教授们都很忙（你可能无法想象他们每天需要回复多少邮件），所以这是一个合理的要求。此外，这其实是个好消息，因为你可以自己掌握推荐信的内容。因此，即使作为一名学生，你也需要学习如何写一封好的推荐信。这里我收集了几个来源和我的笔记，希望对你有所帮助。 来自 Michael Ernst (mernst@cs.washington.edu) 以下是来自 Citation: Ernst 2002 Ernst, M.(2002). Writing letters of recommendation.Retrieved from https://homes.cs.washington.edu/~mernst/advice/write-recommendation.html 的建议： 在信的开头，说明你对这个人的了解程度，认识了多久，以及你们是如何相识的。同时，给出你的推荐的概述或总结。 要具体。 不要仅仅用泛泛的词语（如“学习快”）来赞美这个人，而是提供具体的故事或轶事，说明这个人做了什么事给你留下了这样的印象。一封没有具体内容的赞美信会显得平淡无奇。班级排名是另一个有用的具体例子。 ...