03 扩散模型架构与变体

第 3 章 · 扩散模型架构与变体

本章要回答的三个问题：为什么主流模型都要先把图压缩到潜在空间再扩散，不能直接在像素上跑吗？把采样压到几秒钟、甚至一步出图的"求快"变体，靠的是什么魔法？"分数"这座桥，怎么让扩散模型跟早年能量基模型接上血脉？

为什么会有这一章

第二章懂了"在像素层面加噪再去噪"的原理，但真拿到生产里用，你会发现两个尴尬：一是像素层面算力贵得离谱，一次生成像搬了一座山；二是采样依旧慢。这一章就是为这两道坎准备的"变体学"。我们不穷举所有模型，只讲三根顶梁柱——LDM 把扩散搬进潜在空间省算力、级联把高分辨率拆成多级去生成、一致性模型牺牲一点点质量换还不了几秒的速度，最后用"分数模型"把扩散和能量基模型串联起来，补齐理论版图。理解了这三个，你就握稳了今天主流生成产品的架构选择。

这一章仍是"画室"这个大背景下的加工技法：LDM 相当于先在画室角落压好画布底纹再动笔，级联相当于分图层逐步加细节，一致性模型相当于背下来整条冲印流程只留最后一步。

三根顶梁柱的分工一图立现——它们从不同角度回答"怎么把第二章的原理搬上生产台面"：

读完能解决什么

对照开篇三个问题：

• 你能解释 LDM 为何用自编码器先把图压进低维潜在空间，并对比像素扩散的算力差。
• 你能讲清级联扩散怎样拆解分辨率，"先低清定结构、再高清补细节"。
• 你会比较一致性模型、蒸馏类方法与步数之间的关系，说明"一步出图"要付什么代价。
• 你能把"分数=噪声梯度"这个概念说圆，并指出它与扩散在数学上的同源关系。

各节怎么分工

三根顶梁柱的共同包袱

别被"三个变体"的表象迷惑，它们其实背负着同一个包袱：都源于第二章那个像素层去噪的"理想的骨架"。LDM 问"能不能别在像素上跑这么重"、一致性模型问"能不能别跑这么多步"、级联问"能不能把高清拆开细化"——问题各不相同，解法的地基却是同一套"加噪-去噪-调度步数"。所以即便这章讲了很多"变",你的掌握方法仍是"抓住不变"：永远先回到那套相爱的基础，再看每个变体在哪个环节动了手脚。这也是为什么读完整章后，你回头看第二章仍会觉得那才是总纲，而这章只是把总纲做得更快更高更细的几个具体招式。

先决条件

• 承接第二章全部内容，尤其是"潜在空间"（第一章）与"预测噪声"（第二章）。
• 不需要会推导 SDE，只需接受"分数=噪声梯度"这一事实，后面的代价就轻。
• 对"量化"有概念即可，涉及压缩大小时只作定性理解。

往下走到哪

这一章产品化的三种架构会直接在第四章的文本到图像、第五章的超分，以及第九章的主流模型（Stable Diffusion、DALL-E）里露面。读透 LDM 与一致性模型，你去把玩真实工具时的每一步选择都有了底。

别小看这章"架构与变体"这种听起来偏理论的位置——它其实是你在真实工具里"样样都认识、件件能选型"的底气来源。当你在第九章看到 Stable Diffusion 的组件列表、看到某个产品的"一步出图"模式时，能想起"哦，这底子是 LDM 省算力，那快档是靠一致性蒸馏"，就已经把理论与产品打通了。