Posts

这篇文章来的有点晚——一半因为我拖延，一半因为我需要一点距离，才能真正看清这一切。 回望 2025 年的申请季，那是一段既情绪起伏又极具启发性的旅程。 最佳阅读体验请移步知乎 ➡️ 记2025 我的北美 AI 留学申请 ，和一些琐碎想法 背景与结果 我的研究方向是视频世界模型（Video World Models），此前也有在大模型（LLM）、智能体（Agents）与可解释性（Interpretability）方向的经验。 我本科就读于 上海交通大学 IEEE 荣誉班，申请时同时投了博士与硕士项目。 最终结果如下： 伊利诺伊大学香槟分校（UIUC）计算机系博士录取 加州大学圣地亚哥分校（UCSD）博士（口头录取，后拒绝） 多份硕士录取，其中我最终选择了 卡内基梅隆大学（CMU）MSML 项目 对抗优绩主义 大一大二时的我，是个雄心勃勃但方向模糊的“系统玩家”： 追着 GPA 跑，报各种比赛，参加意义不明的社团。 我以为“忙碌”就等于“优秀”。 其实，那不过是困在平庸回音壁里的自我催眠。 我甚至去修了一个 数学双学位——以为那会让我“更聪明”。 事实证明，并没有。 我们真的应该听听 Andrej Karpathy 的那句忠告：“在需要的时候再学。” 像《实分析》《抽象代数》这样的课程虽然优雅，却和我的研究方向几乎无关。等我意识到这一点时，收获的不是智慧，而是倦怠。 我本该做什么？ 多和前辈聊聊。 信息不对称比无知更能扼杀好奇心。 如果能对过去的自己说一句话，我会说： 别再为 GPA 优化，去为视野优化吧。 Connections 的重要性 我人生中每一次关键的转折，几乎都始于一场对话。 导师、朋友，甚至是 Twitter 上的陌生人——他们每个人都让我看到地图的一角。 “Connection is all you need.” 论文、推荐信、面试——这些都只是表象。 真正的连接才是学术机会流动的方式。 教授愿意花五年时间培养一个博士生，他们不会靠陌生邮件来赌博，他们相信那些“熟悉的声音”。 ...

今天外出办事，途中读了周岭的《认知觉醒》，书中不少观点值得摘录一下。很多虽是常谈，但与其埋没在脑海中的某个角落，倒不如摘录下来，常看常新。 一、耐心与恒心 急于求成往往导致庸碌无为。凡事总想立即看到成效，对无法快速见效的事缺乏耐心，极易中途放弃。 表面上，学习各类高效方法似乎可以令人刮目相看，然而一味寻找捷径反而会强化自身的浮躁与不安。真正的成长离不开踏实积累，急功近利最终只会加剧焦虑。 急功近利的心态往往源自外部评价体系的压力。当我们太过关注他人的认可，忽视了自我内在成长的真实需求时，很难真正静下心来深耕细作。 二、行动力 面对不确定性，人类下意识选择逃避。某些问题放置一段时间后会变得清晰，但更多情况是，越放置越模糊。 对事情只有大致了解而缺乏明确的规划，是行动力的最大敌人。当我们对“为什么做”、“如何做”、“何时完成”等基本问题都无法回答时，行动自然难以落地。 三、方法论 短时间投入100%的精力往往比长时间70%的精力更有效。专注的动力来自于对细节差异的发现，这种自然的兴趣引导我们深入其中，而非自我强迫的意志力。 英雄式的开头往往难以带来英雄式的结局。一味持续刻苦、争分夺秒，不懂休息的人，最终只会陷入精力耗尽的泥潭。 休息时切忌刷手机，因为这不是真正的放松，而是对大脑持续地进行新信息的填充，徒增疲惫。 走出舒适区，并非刻意走入极端困难区，而应在适度挑战的拉伸区内不断尝试，这样才能实现持续成长。 速度本身即为一种能力；同样的任务，不同人完成所需的时间体现了其对底层知识掌握的扎实程度。效率背后，是对技能与知识深刻而熟练的运用。 四、自我反思 随着圈子逐渐扩大，接触到越来越多超级优秀的同辈们。我愈发感受到自身的渺小与平凡。当看到本科时期便能获得百引、千引的同辈在朋友圈、小红书记录着自己的成就时，我既钦佩不已，又不免陷入自我怀疑：为什么我做不到？他们的成功是否有可以借鉴之处？ 但我逐渐意识到，现在前方的道路上不再是有标准答案的考试，它并不存在可轻易复制的金科玉律。当我的视线总是聚焦于他人的成就，逐一比对自我时，我实际上浪费了更多宝贵的时间在无谓的焦虑与攀比中。我固然乐于和优秀的他者交流，但我应该把关注点更多地落在自身，不要为一些光环驻足良久，同时也警惕别人给我的光环。 我不要去想着成为别人眼中的任何人。学术并非是攀比，也不是在社交媒体上展示个人辉煌，更不是追求所谓的“逆袭”励志剧本，彰显"ta"力量。学术本该是一种朴实而扎实的过程：不断阅读文献、反复思考、踏实探索、细致验证想法，在这一过程中逐渐积累属于自己的认知与见解。 我应当牢记： 以剽窃（或声称）他人（包括学长学姐）思想为己一作论文的idea为耻； 以淡化自己工作的局限性为耻 以过度夸大自己在该工作中的贡献为耻； 以缺乏独立思考的研究路线图为耻。 有此几耻，常自警醒，以求踏实笃行。

TL;DR: 本文推导了扩散模型中Score Function与噪声预测之间的精确数学关系，并解析了Classifier-Free Guidance的工作原理及其在采样过程中的应用。 Score Function与噪声预测的关系推导 我们将推导扩散模型中的score function $\nabla_{\mathbf{x}_t}\log p(\mathbf{x}_t)$与噪声预测 $\epsilon_\theta(\mathbf{x}_t)$ 之间的数学关系。这是一个经典的结论，笔者在阅读 Classifier-Free Guidance 的相关资料时，大多都是跳步处理，应是默认了读者有相关的背景知识。但对于想要刨根究底的读者来说，这样有些不方便，所以笔者决定写一篇笔记，详细推导一下。本文假设读者对 Diffusion 有基本的背景知识，知道前向加噪过程、逆向去噪过程、以及扩散模型的训练目标。 1. 基本前向过程 在扩散模型中，前向加噪过程定义为： $$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, I) $$ 可以改写噪声项为： $$ \boldsymbol{\epsilon} = \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1-\bar{\alpha}_t}} $$2. 条件概率分布 从加噪过程可知，给定$\mathbf{x}_0$的条件下，$\mathbf{x}_t$的条件概率分布为： $$ p(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)I) $$3. Score Function的推导 我们的目标是计算 $\nabla_{\mathbf{x}_t}\log p(\mathbf{x}_t)$。首先使用全概率公式： ...

当你向教授们申请推荐信时，如今很常见的是他们会要求你提供一个时间表、工作总结，甚至是推荐信的草稿。教授们都很忙（你可能无法想象他们每天需要回复多少邮件），所以这是一个合理的要求。此外，这其实是个好消息，因为你可以自己掌握推荐信的内容。因此，即使作为一名学生，你也需要学习如何写一封好的推荐信。这里我收集了几个来源和我的笔记，希望对你有所帮助。 来自 Michael Ernst (mernst@cs.washington.edu) 以下是来自 Citation: [1]Writing letters of recommendation M. Ernst, (2002) Link 的建议： 在信的开头，说明你对这个人的了解程度，认识了多久，以及你们是如何相识的。同时，给出你的推荐的概述或总结。 要具体。 不要仅仅用泛泛的词语（如“学习快”）来赞美这个人，而是提供具体的故事或轶事，说明这个人做了什么事给你留下了这样的印象。一封没有具体内容的赞美信会显得平淡无奇。班级排名是另一个有用的具体例子。 ...