第31篇 · DDPM

一、全局大图

1.1 摘要—章节对照导航表

1.2 知识依赖图

1.3 主要贡献与证据强度预评

此预评在"综合考核·证据审计"中回看修正。

1.4 推荐阅读路线

必读主线：§2 背景（前向/反向/L 分解）→ §3.2 ε 预测与 L_simple → §4.1 主结果。跳过则无法理解后续一切扩散改进工作的出发点。
可跳支线：§3.3 离散解码器边界修正、附录 C 与 NCSN 的四点差异、Algorithm 3/4 渐进压缩——工程细节，跳过不伤主干，但做似然评估时 §3.3 必读。

二、逐章精读

第1章 问题与定位：漂亮的老想法，缺一张成绩单（对应原文 §1）

来源：论文 §1；历史背景串联为解读者补充。

学习目标：学完本章你应能——说出 DDPM 相对 2015 年奠基作的两大新增贡献；复述作者对"似然不如其他似然模型"的诚实表述；解释"渐进解码是自回归解码的泛化"这句话的分量。

直觉与类比：2015 年的论文画好了发动机图纸，DDPM 做的是调校化油器、换上更好的轮胎然后赢得比赛。类比在哪里失效：调校通常不改原理，而 DDPM 的 L_simple 实质上改写了训练目标（放弃严格最大化似然），这是"为了样本质量牺牲似然最优性"的目标替换，不只是工程微调。

常见误读：①"DDPM 发明了扩散模型"——错，它发明的是让扩散模型能打的那套参数化、目标简化与网络配方；②"FID 3.17 说明扩散模型全面超越 GAN"——原文明确 StyleGAN2+ADA 在同表 IS/FID 更高（9.74–10.06 / 2.67–3.26），DDPM 是无条件模型里最好、且胜过多数含条件模型；③"训练目标就是普通 MSE"——形式是 MSE，但它是加权变分下界的去权版本，这个出身决定了它仍支持似然评估。

一句话蒸馏：DDPM 用一次目标函数的"减法"和一套 U-Net 配方，把五岁的理论变成了当年的 SOTA。

闭卷自检：不看材料我能列出两大贡献吗？作者的似然短板是如何措辞承认的？

第2章 前向过程与变分下界的骨架（对应原文 §2）

来源：论文 §2 全部公式（式 1–7）；符号约定 α_t:=1−β_t、ᾱ_t:=∏_s≤tα_s。

学习目标：学完本章你应能——默写前向核与反向核；推导任意时刻 t 的闭式采样公式；写出 L 的三项分解并说明每项为何可闭式计算。

公式手术（三项分解）：

常见误读：①以为 q 有参数要学——前向过程固定不可学习（区别于 VAE 的推断网络）；②以为训练要串行走完 T 步——闭式采样让你直接抽 t、一步跳到 x_t；③把 ᾱ_t 记成 Σα——它是连乘，这也是为什么 β 必须小：任何单步稍大的泄漏都会被连乘指数放大。

一句话蒸馏：ᾱ 连乘记号 + 闭式跳步，把一条一千步的链变成可以随机抽卡训练的对象。

闭卷自检：我能默写 q(x_t|x_0) 吗？三项各管什么？为什么 KL 全都闭式可算？

第3章 反向过程参数化：从预测均值到预测噪声（对应原文 §3.2）

来源：论文 §3.2 式 (8)–(12)、Algorithm 1/2。

学习目标：学完本章你应能——从 μ̂_t 出发一步步推到 ε 预测参数化；写出采样式并指出哪一项是噪声注入；解释为什么该参数化等价于 denoising score matching。

第一步决策：固定 Σ_θ(x_t,t)=σ_t²I 为未训练的时间依赖常数，σ_t²=β_t 或 β̃_t 两者实验结果相近（它们分别是对应单位方差数据反向过程熵的上界与下界两种极端情形——正是第30篇熵界式 25 的两端）。于是 L_t−1 只剩均值项：

代入重参数化 x_t=√ᾱ_tx₀+√(1−ᾱ_t)ε 后，μ̃ 可整理为"由 x_t 减掉已知比例的 ε"的形式，于是干脆让网络直接预测噪声：

直觉与类比：修复一幅老照片有两种交代方式——直接给你修好的照片（预测 μ/x₀），或者告诉你"这里哪些笔触是霉斑"（预测 ε）。后者更容易学：霉斑是加性的、统计性质简单。类比在哪里失效：霉斑与底片内容无关，而扩散中的 ε 虽然独立于 x₀，网络要从混合体中剥离它仍需理解图像内容本身；且早期实验显示预测 x₀ 样本质量更差【实验支持】，说明"哪个参数化更好学"是经验问题而非显然。

采样式（Algorithm 2）：

训练式（Algorithm 1）：抽 x₀ → 抽 t∼Uniform{1..T} → 抽 ε → 对 ‖ε−ε_θ(√ᾱ_tx₀+√(1−ᾱ_t)ε,t)‖² 做梯度步。整个算法三行，是全文最著名的段落之一。

常见误读：①认为 ε_θ 输出的是"图像"——它输出与 x 同形状的噪声张量；②以为 σ_tz 这一项可有可无——去掉它得到确定性映射（后来 DDIM 的思路），保留它才是严格的变分后验采样；③以为式 12 的权重系数被保留了——恰恰相反，下一章会把它整个扔掉。

一句话蒸馏：换一个参数化，"学均值"变成"认噪声"，训练目标从此与 score matching 血脉相连。

第4章 L_simple：一次成功的减法（对应原文 §3.4）

来源：论文 §3.4；消融证据在 Table 2。

学习目标：学完本章你应能——写出 L_simple 并说明它对完整下界做了哪两类近似；解释"下调小 t 权重"背后的直觉；引用消融数字评估这一减法的收益。

两处简化：①丢掉式 12 的权重系数 β_t²/(2σ_t²α_t(1−ᾱ_t))；②t=1 时用高斯 PDF×bin width 近似离散解码器、忽略 σ₁² 与边界效应。本质是把加权变分下界的权重重新分配：小 t（低噪声）的去噪任务太容易，其损失项在大权重下浪费容量；去权等于把火力集中到大 t（高噪声）的困难任务上。【论文声称＋实验支持：FID 从 13.51 降到 3.17，IS 从 7.67 升到 9.46±0.11】

常见误读：①"L_simple 是新的更准的下界"——错，它是更松但更好优化的代理目标，代价是不再直接最大化似然（所以 NLL 反而略差：3.75 vs 3.70 bits/dim 上限）；②"去权是拍脑袋"——作者明说类比 NCSN 的损失加权，且有理论出身（加权变分下界）；③以为 learned Σ 配 L_simple 也行——消融显示 ε 预测 + learned diagonal Σ 不稳定无法训练，四个组合里只有一个赢家。

一句话蒸馏：扔掉权重系数，牺牲一点似然，换来 FID 四倍的改善——深度学习史上性价比最高的一次"不严谨"。

第5章 模型架构与训练配方（对应原文 §4 开头配置段、附录）

来源：论文 §4.1–4.2 配置描述。

学习目标：学完本章你应能——复述 U-Net 的关键改造点；算出 CIFAR 训练时长与速度的对账；说出 TPU/GPU 成本量级。

• U-Net backbone（类似未掩蔽 PixelCNN++/Wide ResNet），全程 group normalization；时间条件经 Transformer 正弦位置嵌入进入每个残差块；self-attention 放在 16×16 特征图分辨率处（32×32 数据的中间层）。
• 参数量：CIFAR 模型 35.7M；LSUN/CelebA-HQ 模型 114M（另有约 256M 的 Bedroom 变体）。
• 硬件与速度：TPU v3-8；CIFAR batch 128 时每秒 21 步，800k 步完整训练约 10.6 小时——对账：800000÷21÷3600 ≈ 10.58 h ✓。采样一批 256 张 32×32 图需 17 秒；256×256 模型采样 128 张需 300 秒（约 0.43 张/秒）。
• 其他：Adam lr 2×10⁻⁴（256² 图像降为 2×10⁻⁵）、batch 64–128、EMA decay 0.9999、CIFAR dropout 0.1、随机水平翻转（Bedroom 除外）。

常见误读：①"self-attention 放在最深层"——放在 16×16 中间分辨率，兼顾全局性与计算量；②"位置嵌入是可学习的"——此处用的是 Transformer 正弦嵌入注入时间步 t，与 ViT 的空间位置编码是两回事；③低估采样成本——千步采样的延迟问题在本文已是明显短板，只是当时没人计较。

一句话蒸馏：赢家的配方＝U-Net＋正弦时间嵌入＋中部分辨率 self-attention＋EMA，此后成为扩散模型的默认底座。

第6章 实验精读：主表与消融（对应原文 §4，Table 1–3）

来源：论文 Table 1（CIFAR10）、Table 2（消融）、Table 3（LSUN）。数字均复述原文，未外部验证。

6.1 CIFAR10 无条件生成（Table 1）

数字对账：FID 3.17 是相对训练集的标准做法口径；相对测试集则为 5.24——作者主动披露，避免"挑好口径"之嫌。NLL 上训练/测试差至多 0.03 bits/dim，未见过拟合。似然维度上 Sparse Transformer（2.80）仍明显占优，作者如实呈现——样本质量与似然两条坐标轴在此背离。

6.2 参数化与目标消融（Table 2，全文最值钱的表）

三个结论：μ̃ 直接回归只在完整下界下可行；学方差有害且不稳；ε 预测配去权目标独占鳌头。

6.3 LSUN 256×256（Table 3，FID）

摘要声称"与 ProgressiveGAN 相当"属实且保守：Bedroom 大模型 4.90 已超过 ProgressiveGAN 的 8.34，但落后 StyleGAN2。

一句话蒸馏：无条件 CIFAR-10 FID 3.17 让扩散模型第一次站上生成模型的第一梯队，而消融表证明了这一切来自"ε 预测＋去权"这对组合拳。

第7章 渐进编码、插值与语义潜变量（对应原文 §4.3–4.4）

来源：论文 §4.3 Table 4、Figure 7；§4.4 插值。

学习目标：学完本章你应能——解释"率/失真"如何从变分下界切分出来；引用率失真数字证明"比特花在不可感知处"；描述分叉实验及其结论的证据强度。

把 L₁+⋯+L_T 视为率、L₀ 视为失真：最佳 CIFAR 模型的率为 1.78 bits/dim、失真 1.97 bits/dim（对应 [0,255] 尺度 RMSE≈0.95）。对账：1.78+1.97≈3.75 ✓ 恰等于 NLL 上限。结论：超过一半的无损码长用于描述人眼不可感知的细节。Table 4 显示率在前几百步就趋于零而失真仍在陡降——渐进传输时"大结构先行、细节殿后"。分叉实验（CelebA-HQ）：在不同 t 处改变随机性继续采样，t=1000 处分叉样本完全不同；在 x₇₅₀ 后分叉则共享发色、眼镜、姿态、表情等属性——中间潜变量编码高层语义【实验支持（定性）→ "conceptual compression"属论文声称】。插值实验：q 编码两图至 x₅₀₀、线性插值、反向解码，姿态/肤色/发型/背景平滑变化而眼镜不变换——潜空间的语义结构并不均匀。

常见误读：①把渐进生成当成"由粗到细的多尺度网络"——它是同一网络在同一链上的自然副产品；②以为插值是在像素空间——是先把两图各自加噪到 t=500 再在潜变量空间插值；③把"x₇₅₀ 编码性别发色"当作精确命题——原文措辞是"或许提供了 conceptual compression 的线索"，属谨慎推测。

一句话蒸馏：扩散链天然是一台渐进有损压缩机：前面几十个比特买构图，后面九百多个比特买噪点。

三、批判性阅读：如何不被这篇论文带节奏

3.1 指标到底测什么、比较公平吗

FID 测的是生成分布与真实分布经 Inception 特征后的距离——对模式丢失敏感但依赖评价网络本身；IS 衡量"类别清晰度×边缘多样性"，已被广泛批评为易被对抗优化。比较前提的不对称：DDPM 是无条件模型却与若干条件模型同表对比（作者对此是自豪而非遮掩，但口径差异读者须自知）；StyleGAN2+ADA 数字更高这一点在正文中如实列出。FID 3.17 vs 5.24 的双口径披露值得表扬。

3.2 第二坐标轴：成本与延迟

采样 256 张 32×32 图要 17 秒、256×256 图约 2.3 秒/张（300 秒/128 张）——同期 GAN 快两个数量级以上；训练 800k 步虽只要 10.6 TPU-hours（CIFAR），但 114M–256M 模型 × 百万步级的 LSUN 训练并不便宜。论文对这些成本的陈述散落在配置段而没有汇总成表——只看 FID 表会严重误判部署可行性。【解读者推断】"千步采样"是全文最大的隐性债务，也直接催生了后续 DDIM、latent diffusion 两代改进。

3.3 证据等级区分

主表 IS/FID 为第三方通用指标（用 OpenAI 与 TTUR 原始代码计算、LSUN 用 StyleGAN2 代码），证据等级较高；"渐进解码泛化自回归""conceptual compression"为定性论证；率失真分析基于自己的下界分解（内部口径）。

3.4 论文没有告诉你什么

• 未报告失败样本与 cherry-picking 风险控制（展示了多少比例的样本无从知晓）。
• σ_t²=β_t 与 β̃_t "结果相近"只有一句陈述，没有分别报数。
• 未与 2015 年奠基作的正面对照（如同框架不同参数化的 baseline）——范式内进步幅度只能靠 Table 2 间接推断。
• CelebA-HQ 结果只有配图展示、未给 FID 数值。
• 【解读者推断】L_simple 牺牲了似然最优性，"什么场景必须用完整下界 L"文中未讨论——需要校准似然的下游用途（如压缩）时这是个真实风险。

以上引用数字仅复述原文，未做外部验证。

四、综合考核（毕业关）

4.1 分级自测题

• L1写出 DDPM 的前向闭式采样公式，并给出 α_t、ᾱ_t 的定义。
  显示答案

  q(x_t|x₀)=𝒩(x_t; √ᾱ_tx₀,(1−ᾱ_t)I)；α_t=1−β_t，ᾱ_t=∏_s=1^tα_s（§2）。
• L1论文的 β 调度是什么？L_T 最终约为多少 bits/dim？
  显示答案

  β 从 10⁻⁴ 到 0.02 线性递增、T=1000、取常数集合中的线性选项；L_T≈10⁻⁵ bits/dim（§4 配置段）。
• L2CIFAR 模型每秒 21 步、batch 128。若改为 batch 256 且吞吐不变，800k 步训练需多久？再算采样 10000 张 32×32 图需要多少秒？
  显示答案

  800000/21≈38100 s≈10.6 小时，与论文一致（吞吐以"步"计不随 batch 变化的假设下时长相同，但总样本数翻倍）；采样：17 秒/256 张 ⇒ 10000×17/256≈664 秒。变式思考：若想 10 分钟内出 1 万张图，需要几倍加速？（约 664/600≈1.1 倍即可。）
• L2迁移：把 T 从 1000 减到 100（其余不变，β 区间不变）。预测对 L_T、训练、采样三方面各有什么影响，并说明理由。
  参考答案（按要点评分）

  ①L_T：Σβ 变为约十分之一（平均 0.01005×100≈1.005，ᾱ≈e^−1.02≈0.36），信号残留 60%，q(x_T|x₀) 远离标准高斯，先验失配、样本崩坏；②训练：每步扰动变大、高斯反向核近似的误差上升；③采样快 10 倍。评分点：必须抓往"ᾱ 是连乘、总量守恒"这条——缩短链长而不加大 β 必然破坏终点分布。
• L3构造反例：命题"L_simple 是对数似然的无偏估计"。举出两点反驳。
  参考答案

  ①它丢弃了式 12 的 t 相关权重，是另一个目标的期望，不是 −log p_θ(x₀) 的下界更非无偏估计；②实证：L_simple 模型 NLL≤3.75 差于完整下界模型的 ≤3.70 bits/dim（Table 1）——若是同一量的无偏估计不会系统性更差。评分：每点 1.5 分，逻辑清晰满分。
• L3识别错误："self-attention 放在 16×16 层是因为那里感受野已经足够大，不需要全局注意力。"这段话哪里错了？
  参考答案

  因果颠倒：卷积堆叠的感受野增长有限，16×16 中间层恰是引入全局交互性价比最高的位置——放最深层太晚（细节已定）、放最浅层太贵（序列长度按分辨率平方计）。论文给出的理由是架构选择而非"不需要"，且 attention 的 O(N²) 成本正是限制放置位置的约束。评分：指出成本约束 1 分、指出全局性动机 1 分。
• L4综合：仅凭"IS 9.46、FID 3.17、NLL≤3.75、基线 Sparse Transformer NLL 2.80"四个数字，推演这篇论文必须在方法章节解决哪两类张力，并说明每个数字逼出了什么。
  参考答案（按要点给分）

  张力一：样本质量 vs 似然——NLL 落后自回归基线 0.95 bits/dim 而 FID 领先，逼出"加权变分下界/去权目标"的设计（承认牺牲似然换样本）；张力二：表达力 vs 可训性——要在 1000 步链上学稳定的高斯转移，逼出"固定 Σ、ε 重参数化"的消融矩阵。评分：识别两类张力各 2 分，正确绑定数字与设计各 0.5 分。

4.2 数字总对账

独立完成后展开：(a) 率+失真是否等于 NLL 上限？(b) FID 训练集/测试集口径差多少？(c) CIFAR 与 LSUN 模型参数量之比约为多少？(d) μ̃ 预测 fixed Σ 与 ε 预测 fixed Σ 的 FID 各是多少、差多少？

4.3 设计决策答辩（四连问）

• A：固定 Σ_θ 为未经训练的时间依赖常数。为什么？不这样做会怎样？
  答辩要点

  前向小步长下后验方差近似确定，学习它的边际收益小而数值不稳（learned diag Σ 两个组合均不稳定）；固定为 β_t/β̃_t 还有熵界的理论依托。论据充分度：消融覆盖了全部四种组合，充分。
• B：用 ε 预测而非 x₀/μ̃ 预测。
  答辩要点

  ε 回归目标量纲恒一、跨 t 平滑，并与 denoising score matching 精确对应（ε_θ≈−√(1−ᾱ)·∇log p）；x₀ 预测早期实验更差。论据：Table 2 消融 + 理论联系，充分。
• C：丢弃式 12 的权重得 L_simple。
  答辩要点

  重新分配容量到难的大 t 任务，FID 13.51→3.17；代价是似然略差且失去严格下界身份。论据：消融充分，但对"何时不能用 L_simple"缺少讨论——扣一分。
• D：self-attention 只放在 16×16 分辨率一处。
  答辩要点

  O(N²) 注意力在低分辨率层便宜且信息价值最高；更高分辨率用纯卷积省算力。论文未做 attention 位置的系统消融——这是可质疑之处（后来的工作确实反复调整过 attention 层配置）。

4.4 证据审计（回看 1.3 预评）