第37篇 · Whisper

〇、阅读进度与声明

一、全局大图

1.1 摘要拆解对照表（兼导航）

1.2 贡献与证据强度预评

1.3 推荐阅读路线

必读主线：§1 引言的"人类 vs 机器测的不是同一种能力"论证 → §3.3 有效鲁棒性 → §4.2 数据缩放 → §6 局限。可跳读支线：§3.6 语言识别（结论简单）、附录数据集清单。跳读代价：跳过 §3.9 会误以为 Whisper 已超人类；跳过 §4.5 会不知道长音频为什么需要那串启发式。

二、方法精读：数据、模型与多任务格式（论文 §2）

来源：论文 §2.1–2.4。

学完本章你应能：①列出弱监督数据的四道过滤工序及各自针对的污染类型；②默写五档模型的层数/宽度；③画出 decoder 任务前缀 token 序列；④发现并解释原文训练步数表述的一个排版疑点。

2.1 失效模式先行：自监督路线的阿喀琉斯之踵

wav2vec 2.0 一系的自监督预训练能把无标注语音用到 100 万小时，但学到的只是编码器——缺少同样强的解码器，必须再走一道数据相关的微调才能干活。微调有双重风险：流程复杂依赖专家；更糟的是模型会记住评测分布特有的怪癖。论文引用了一个刺眼案例：某视觉模型在 ImageNet 上微调后精度涨 9.2%，但在另外七个自然图像数据集上平均精度零提升。语音识别界同样如此：LibriSpeech test-clean 的 SOTA 从 Deep Speech 2 时代的 5.3% 一路降到 1.4%，远低于其报告的人类水平 5.8%，但这些模型换个数据集就原形毕露。

2.2 数据加工：极简主义 + 四道过滤

训练目标是预测转录原始文本，不做显著标准化——因此推理天然输出带大小写和标点的自然文本，省掉独立的逆文本归一化（ITN）环节。数据来自互联网上音频+转录配对，过滤工序：

• 机器生成检测：大量网络字幕其实是旧 ASR 系统输出（"transcript-ese"）。启发式：全大写/全小写必非人工；缺逗号等规则化痕迹可识别简单 ITN。
• 音文一致性：用 VoxLingua107 微调的原型语言检测器核对口语语言与 CLD2 判定的文本语言；不一致则丢弃——唯一例外是文本为英语时改标为 X→en 翻译样本（这就是 125,000 小时翻译数据的来源）。
• 模糊去重减少重复与自动生成内容。
• 二次清洗：初版模型训完后，按错误率×数据源规模排序人工抽检，移除错对齐/残留低质字幕的数据源。

音频切成 30 秒片段配对应转录；无语音段以降采样概率保留作 VAD 训练数据。防污染：与高风险评测集（TED-LIUM 3）做了转录级去重。

2.3 模型：故意不创新的架构

encoder-decoder Transformer，两半宽度和深度相同。输入重采样 16kHz，80 通道 log-Mel 频谱（25ms 窗 / 10ms 步），全局归一化到约 [-1,1]。stem 是两层卷积（核宽 3，GELU，第二层 stride=2），其后加正弦位置嵌入；pre-activation 残差块，编码器输出接最终 LayerNorm。解码器用学习式位置嵌入、输入输出 token 表示绑定。词表用 GPT-2 的 byte-level BPE，多语言模型仅重拟合词表（尺寸不变）。

来源：§2.4 Table 1。注意 encoder 与 decoder 同深——所以 "Large 有 32 层"指的是每半各 32 层。【解读者推断：表格未显式写明，但"encoder and decoder have the same width and number of transformer blocks"一句已锁定此义。】

2.4 多任务格式：把整条流水线塞进一个 decoder

VAD、语种识别、翻译、时间戳全部变成 token 预测任务；前文转录历史按概率拼入上下文以利用长程文本语境消歧。时间戳量化到 20ms（与模型原生时间分辨率一致）。训练只 mask 掉前文历史的 loss，其余 token 全部要预测。这套设计让单一模型替代传统 ASR 流水线的多个组件。

2.5 训练细节与一处数字对账

• AdamW + 梯度范数裁剪，前 2048 步 warmup 后线性衰减到 0；batch 256 个片段；FP16 动态 loss scaling + 激活 checkpointing；无任何数据增强或正则（V1 口径；脚注称后来的 Large V2 加了 SpecAugment/Stochastic Depth/BPE Dropout 并多训 2.5 倍 epoch）。
• 训练步数：正文写作"trained for 220 updates which is between two and three passes over the dataset"。此处存在明显排版疑点：220 步不可能覆盖 2–3 个 epoch。对账：680,000 小时 ÷ 30 秒 ≈ 8.16×10⁷ 片段；2–3 个 epoch ≈ 1.6–2.4 亿片段；除以 batch 256 得约 65万–95万步。而 2²⁰ = 1,048,576 步 × 256 ≈ 2.68 亿片段 ≈ 3.3 个 epoch，量级恰好吻合。故"220"应为上标丢失后的 2^20。【解读者推断，依据为数量级对账；读者可查 GitHub 实现复核。】
• 一个有趣的修补：开发中发现模型爱猜说话人姓名（因训练转录常含人名而 30 秒音频推不出来），遂在不含说话人标注的子集上短暂微调消除该行为。

三、实验精读：鲁棒性才是主角（论文 §3）

来源：论文 §3.1–3.9。

学完本章你应能：①解释"有效鲁棒性"并用 Table 2 复述 55.2% 这个数；②说出 Whisper 在哪些任务上并不领先；③手算 WER 归一化为何能造成 50% 的差异。

3.1 主战场：英语识别与有效鲁棒性（§3.3）

最好的 zero-shot Whisper 在 LibriSpeech test-clean 上 WER 仅 2.5——"不过尔尔"，大约是 2019 年中期的监督水平。但换到其他 12 个学术数据集上画风突变：Table 2 选了 LibriSpeech 成绩几乎相同的两个模型对比（wav2vec 2.0 Large no-LM vs Whisper Large V2，test-clean 同为 2.7）：Artie 上 24.5 vs 6.2，Common Voice 29.9 vs 9.0，CHiME6 65.8 vs 25.5，Switchboard 28.3 vs 13.8……12 个数据集平均相对误差减少 55.2%。连只有 39M 参数的 Tiny（test-clean 6.7）在域外都与最好的监督 LibriSpeech 模型大致打平。与图 2 中那位人类受试者相比，最佳 zero-shot Whisper 的准确率与鲁棒性已大致重合。

3.2 评测指标本身也是研究对象（§3.2）

WER 基于编辑距离，会把无害的风格差异当错误罚分——这对没见过各数据集转录风格的 zero-shot 模型格外致命。作者开发了迭代式的文本归一化器，某些数据集上 WER 因此下降多达 50%（如参考转录用空格分离缩写词的怪癖）。他们诚实警告：这套归一化是与 Whisper 联合开发的，有过拟合到自家输出风格的风险，并在 §4.4 用独立开发的 FairSpeech 归一化器交叉验证——大多数数据集两者效果相近，但 WSJ/CallHome/Switchboard 上自家归一化器对 Whisper 的降幅更大（缩写与数字表达的处理差异所致）。【这是全文自我批判做得最足的一处，值得点赞】

3.3 多语言与翻译：一胜一负（§3.4–3.5）

• Multilingual LibriSpeech：zero-shot 7.3，好于 XLS-R(1B) 10.9、mSLAM-CTC(2B) 9.7、Maestro 8.1——但作者提醒用了自己的文本标准化器，不宜宣称 SOTA。
• VoxPopuli：13.6，明显落后于上述对手（8.1–10.6）。原因分析：对手把该分布当作主要无监督预训练源，且 VoxPopuli 每语言监督数据约为 MLS 的 10 倍、利好微调范式。
• Fleurs 语言缩放律：log(WER) 对 log(每语言训练小时数) 的决定系数 R²=0.83；回归斜率意味着训练数据每增 16 倍，WER 大约减半。离群点集中在文字体系独特、与印欧语系距离远的语言（希伯来语、泰卢固语、中文、韩语）——可能是迁移缺失、BPE 词表不友好或数据质量问题。
• CoVoST2 X→en 翻译：zero-shot BLEU 29.1，超过 mSLAM(24.8)、Maestro(25.2)、XLS-R(22.1)，尤其在低资源组领先最多（25.2 vs 18.5）；高资源组则不敌 Maestro/mSLAM。归因于预训练里约 68,000 小时的 X→en 数据远大于 CoVoST2 自带的 861 小时。Fleurs 当翻译集用时，数据量-BLEU 相关性骤降至 R²=0.24——威尔士语的诡异离群（号称第 4 大翻译数据语言）被查明是语言检测器把英语音频误判成威尔士语造成的假数据。这是一个教科书级的"上游 bug 如何污染下游统计"案例。
• 语言识别：Fleurs 上 64.5%，落后监督 SOTA 13.6 分——但训练集中根本没有 Fleurs 102 语言中的 20 种，理论上限只有 80.4%；在重叠的 82 种语言上达 80.3%。公平地说这不算失败，只是上限被封。

3.4 噪声、长音频与人类对比（§3.7–3.9）

• 加性噪声：白噪声与酒吧噪声下测 14 个 LibriSpeech 系模型。低噪（40dB SNR）下不少对手更好；但自然酒吧噪声 SNR<10dB 时全体对手迅速劣化、被 Whisper 反超。分布偏移越自然，Whisper 的优势越大。
• 长音频：30 秒窗口滑动 + 按预测时间戳移窗；必须配合束搜索（5 beams）与温度回退调度（avg logprob < −1 或 gzip 压缩率 > 2.4 时温度 +0.2 直到 1.0）压制复读循环。Table 7 的增量账单：greedy 11.0 → +beam 10.6 → +VAD 10.2 → +前文条件 10.0（平均 WER）。注意 beam search 单独看在某些数据集反而变差（TED-LIUM3 3.95→4.16），启发式不是处处免费。
• 人类对比：Kincaid46 的 25 条录音请 5 家专业转写服务。计算机辅助那家比 Whisper 好 1.15 个百分点，纯人工服务只比 Whisper 好不到 1 个百分点。"非常接近人类，但没有达到"——论文措辞精确。

四、消融与分析（论文 §4）

来源：论文 §4.1–4.5。

学完本章你应能：①复述模型缩放与数据缩放各自呈现的收益形态；②解释多任务负迁移→正迁移的翻转发生在哪个尺度；③说出数据缩放曲线的两种竞争解释。

4.1 模型缩放

除英语识别外（可能因逼近人类水平的饱和效应），多语言识别、翻译、语言识别都随模型尺寸稳定提升；但浅色细线显示单数据集方差远大于聚合趋势——聚合曲线的光滑是一种统计幻象。

4.2 数据缩放：一张关键表

三条曲线形态各异：英语从 54k 到全量再翻 12.5 倍只再降 1 点（饱和？还是欠训练？）；多语言近似幂律后在尾部偏离；翻译在 ≤7000 小时时几乎为零，随后 log-linear 攀升。论文给出两种竞争解释——(a) 当前模型相对数据量欠训练，加大模型+拉长训练还能涨；(b) 数据规模缩放的收益真的快到头了——并明言需要进一步的语音 scaling law 研究才能裁决。这种"把分歧摆上台面"的写法很少见。

4.3 多任务正负迁移的翻转

控制"花在英语识别上的 FLOPs"（联合训练中该任务只占 65% 算力）后比较：小模型 + 中等算力时联合训练负迁移（不如英语单任务）；规模上去后联合模型反超，最大档即使不折算算力也略胜英语单训版。结论：多任务是有门槛的投资。

4.4 常见误读

误读1："Whisper 在 LibriSpeech 上达到了人类水平"。错位比较——论文反复强调 in-distribution 的机器分数与 OOD 的人类成绩不可混谈；Whisper 的真正卖点是它把机器拉到了人类所在的"分布外"赛道上还大体打平。
误读2："zero-shot SOTA 说明不需要微调了"。VoxPopuli 与高资源翻译组就是反例：监督数据充足且分布匹配时，微调范式仍然占优。
误读3："680k 小时都是高质量人工标注"。恰恰相反，"weak supervision"意味着大量转录来自网络、质量参差；性能来自规模+过滤+多样性的组合，而非标注质量。

五、批判性阅读

5.1 benchmark 到底测什么 & 比较是否公平

• WER 测"与参考转录的编辑距离"，混入了风格差异；本文的应对（自研归一化器）有效但有自我偏好风险，FairSpeech 交叉验证是必要的补丁而非完美证明。
• 商用 ASR 对比用的是 2022 年 9 月默认设置，作者自己承认其中一些服务可能在部分公开评测集上训练过——这一段比较的解释力有限。
• MLS 的成绩"用了自家文本标准化器"，作者主动声明不能据此宣称 SOTA——但表格仍会被读者摘出去传播，声明挡不住断章取义。

5.2 第二坐标轴：成本与延迟

论文几乎没有报告推理成本：1550M 参数 encoder-decoder 对实时转写的延迟、显存占用、批量吞吐均未给出；Large 相对 Tiny 的质量增益要乘上多少倍算力代价，读者只能自行估算。开源权重是事实上的巨大成本优势（对比商用 API），但这属于发布策略而非论文数据。

5.3 论文没有告诉你什么

• 训练数据的来源清单与配比从未公开（只给了总量与语言分布的间接信息），复现数据侧几乎不可能。
• 680k 小时的过滤淘汰率、各道启发式的精确规则未披露。
• "220 updates"的排版问题暗示校对粗糙；超参附录 F 存在但本次获取未逐一核验其完整数值。
• 说话人姓名微调修补只一句话带过，没有消融证明其必要性与副作用。
• 多语言部分的"WER 每 16 倍数据减半"是观察性拟合，未控制语言间难度差异。

六、综合考核

6.1 重建因果链（L4）

题目：仅从"680,000 小时 / 117,000 小时非英语 / 125,000 小时翻译 / 30 秒窗口"四个数字出发，预测论文必须在架构与格式上做出哪些设计选择。

6.2 数字总对账（L1–L3）

1. L1Large 模型参数量是多少？Tiny 呢？
   答案

   Large 1550M（32 层×1280 宽×20 头）；Tiny 39M（§2.4 Table 1）。
2. L2CoVoST2 上 Whisper 的优势集中在哪一资源档？数字是多少？
   答案

   低资源组：25.2 BLEU vs mSLAM 的 18.5，领先 6.7（§3.5）；高资源组反而不敌 Maestro/mSLAM。
3. L3有人据 Table 2 说"wav2vec 2.0 不行，LibriSpeech 外全面落败"。指出这个论述的两个漏洞。
   答案

   其一，Table 2 只挑了 LibriSpeech 成绩最接近的一个 wav2vec 配置（no-LM），不代表该家族最优系统的域外面貌；其二，55.2% 是"平均相对误差减少"，各数据集差异极大（LibriSpeech Other 只差 16.1%，Artie 差 74.7%），平均值掩盖了分布。另外两个模型的 shot/训练配方也不同。
4. L3验证"2^20 updates ≈ 2–3 epochs"的对账过程，并指出哪里对不齐。
   答案

   680000h×3600s÷30s≈8.16×10⁷ 片段；×2~3 epochs≈1.6~2.4×10⁸ 样本；÷256≈64万~95万步。2²⁰≈105 万步对应约 3.3 epochs——略高于"两到三遍"，若计入无语音段的降采样则实际有效 epoch 数更低，基本吻合。对不齐之处：正文印成"220"，属上标丢失；且 3.3 与"between two and three"仍有轻微出入，可能是去重/过滤后的实际样本量低于名义值。

6.3 设计决策答辩（开放题，配评分标准）

1. L4答辩题1：为什么"不做文本标准化"反而是正确决策？什么条件下它会变成错误决策？
   评分标准

   要点：省 ITN 组件、输出自然文本、让 seq2seq 自己学映射（3 分）；边界条件——下游需要规范化输出的场景（如搜索索引）需额外处理；若训练数据噪声大到模型学不稳大小写/标点的分布，极简主义失效（3 分）；能举出论文中的对应证据（如全大写字幕过滤）加分（2 分）。
2. L4答辩题2：评估"自研 WER 归一化器"的方法论风险，并提出一个改进实验设计。
   评分标准

   风险：与模型输出风格共同进化→自我偏好，压低自身 WER 多于对手（3 分）；论文已有的缓解：FairSpeech 对照（2 分）；改进建议：预注册归一化规则、盲测多模型、报告双归一化下的全部结果矩阵（3 分）。
3. L4答辩题3：§4.2 给出"欠训练 vs 收益见顶"两种解释，你押哪个？给论据。
   参考答案要点

   任一立场皆可，关键是论据质量：押欠训练可引 LLaMA 后续"7B 在 1T token 上仍涨"的证据方向；押见顶可引英语曲线 54k→680k 仅降 1 点的平坦尾巴。满分答案应指出裁决实验：固定模型加大 token 数的延长训练曲线。评分标准：立场 1 分、论据 4 分、提出裁决实验 3 分。

6.4 证据审计