第14篇 · Scaling Laws

本材料说明：所有数字均复述自论文原文，未做外部验证，出处以 §小节号 或公式号标注。【论文声称】=作者观点；【实验支持】=文中数据支撑；【解读者推断】=精读者推理。

一、全局大图

1.1 一句话读懂本文

语言模型交叉熵损失 L 与非嵌入参数量 N、数据量 D（token 数）、计算量 C 三者各自呈平滑幂律关系，跨越多个数量级稳定成立；形状（深度/宽度/头数）几乎不重要。由此可推出过拟合规律、训练曲线外推和算力最优分配：最优策略是把算力主要花在更大的模型上、在远未收敛时就停训（§Abstract、§1.1）。

1.2 摘要—章节对照导航表

1.3 主要贡献与证据强度预评

• 贡献1：三条基本幂律及指数（α_N=0.076、α_D=0.095、α_C^min=0.050，式1.1–1.3）。数百次训练拟合，跨6个数量级
• 贡献2：形状无关性——固定 N 时深宽比变化 40 倍损失只差几个百分点（§3.1）。控制变量实验
• 贡献3：L(N,D) 联合方程与 D≳(5×10³)N^0.74（式1.5、4.4）。拟合良好但第三条设计原则作者自认理论依据弱（§4.1）
• 贡献4：训练曲线外推 L(N,S)（式1.6，S_c≈2.1×10³，α_S≈0.76）。自认拟合"不完美但compelling"（§5.2）
• 贡献5：算力最优分配 N∝C^0.73, B∝C^0.24, S∝C^0.03。经验测量+理论推导双通道一致
• 贡献6：C*≈10⁴ PF-days 处的"语言熵"猜想（§6.3）。纯外推主张，数值不确定度达一个数量级

1.4 推荐阅读路线

必读主线：§1.2（全部公式总览）→ §3 → §4 → §6。这条线覆盖从观察到决策的全部闭环。可跳读支线：§5 的临界 batch 推导（若不关心并行效率）、附录 B/C/D。跳过 §5 的代价是看不懂 §6 中 C_min/S_min 的定义来源。

二、逐章精读 · 三条基本幂律（对应论文§2–§3）

2.1 失效模式先行：为什么需要标度律

2020 年之前，"该训多大的模型"靠直觉和小模型外推，错一次就是几十万美元级浪费。本文的动机是把这件事变成可提前计算的问题：用小规模系统实验拟合出规律，再外推到大规模。为此必须先统一度量衡。

2.2 公式手术：N 的定义是全文第一块基石

2.3 三条幂律与数字对账

手算验证：摘要说"参数翻倍，损失降为原来的 2^−α_N=0.95"。验算：2^−0.076=e^{−0.076×ln2}=e^−0.0527≈0.949 ✓。对账发现一：§4.2 用联合拟合得到的参数是 α_D=0.103、N_c=6.4×10¹³，与 §1.2 边际拟合的 0.095、8.8×10¹³ 略有差异——论文自己解释了原因（联合拟合 vs 边际拟合，Table 2 vs 式1.2），引用时须注明口径。对账发现二：附录 A Table 5 给 α_C=0.057（朴素 C），而正文用 α_C^min=0.050（修正到 B≪B_crit 口径），两者不可混用。

常见误读：①"N_c=8.8×10¹³ 是某个神奇阈值"——错，论文明说 N_c/D_c/C_c 依赖词表与分词，无基本含义，只有指数才是可迁移的部分；②"α 越大越好"——α 是损失下降速率，大 α 只意味着同样倍数的扩张换来更多收益，但都是收益递减的；③"幂律永不失效"——§3 明确承认"最终必然变平"，因为自然语言熵非零。

一句话记住本节：损失 ∝ 规模的负幂，三个维度三个指数（0.076/0.095/0.050），常数随分词漂移、指数才是本体。

三、逐章精读 · 过拟合与 L(N,D)（对应论文§4）

设计三原则（§4.1）：①换词表应整体缩放损失（所以参数化必须允许 N_c,D_c 同步缩放）；②固定 D 令 N→∞ 应退化为 L(D)，反之亦然；③L 在 D=∞ 处应有整数幂次的 1/D 展开（作者自认此条理论支持最弱）。这三原则解释了式中 N 与 D 地位的不对称。

手算验证：模型扩 8 倍需数据只扩 ~5 倍——8^0.74=e^0.74×ln8=e^1.54≈4.66≈5 ✓（§1.1 "Universality of overfitting"）。再验证 1B 模型在 22B token 上是否安全：(5×10³)×(10⁹)^0.74=5×10³×10^{6.66}≈2.3×10¹⁰ < 22B ✓，论文结论"≤10⁹ 参数可在 WebText2 上基本不过拟合"自洽 ✓。

常见误读：①把 D∝N^0.74 当成"数据越多越好"的上限——它只是"不过拟合"的下界，且论文强调这不代表计算最优（§4.2 末段原话）；②以为 dropout 已调优——作者明确说没做正则优化；③拿 1024 倍缩小数据集（~2×10⁷ token）的异常点否定拟合——那是 40 步就过拟合的特殊 regime，已被排除。

分级自测题（本章）

1. L1按式4.4，训一个 100 亿（10¹⁰）参数模型最少要多少 token 才能避免明显过拟合？
   显示答案

   (5×10³)×(10¹⁰)^0.74 = 5×10³ × 10^{7.4} ≈ 1.26×10¹¹ token，约 126B tokens。
2. L2某团队把词表从 5 万扩到 20 万后重跑实验，发现 N_c 变了，于是宣布"推翻了 Kaplan 幂律"。错在哪？
   显示答案

   论文 §1.2 明确指出 N_c/D_c/C_c 依赖词表大小与分词方式、无基本含义；换词表本就该重标定这些常数，应比较的是指数 α 是否稳定。混淆了"可标定量"与"结构性参数"。
3. L3构造反例或指出边界："D∝N^0.74 说明大数据时代不需要那么多数据"这一说法的两个漏洞。
   评分要点

   ①它是下界不是建议值——计算最优训练的数据需求另有公式（§6.7 给出 D(C)=4×10¹⁰·(C/PF-day)^0.26），两套逻辑服务不同目标；②式4.4 基于 WebText2 单分布 + 未调优正则 + 随机种子波动 0.02 的阈值假设，换数据质量/分布边界即变。答出任两条并展开即可。

四、逐章精读 · 训练时间与临界 batch（对应论文§5）

核心工具来自 [MKAT18]：存在临界 batch 大小 B_crit，且满足 (S/S_min−1)(E/E_min−1)=1（式5.1）；实测 Transformer 上 B_crit(L)≈B_*/L^{1/α_B}，B_*≈2×10⁸ token，α_B≈0.21（式5.3）——它只依赖当前损失、不直接依赖模型大小（Fig.10）。由此把任意 batch 的训练折算成"最小步数"S_min=S/(1+B_crit/B)（式5.4），得到普适学习曲线：

手算验证：损失每降 13%，B_crit 约翻倍（Fig.10 配文）。验算：L→0.87L 时 B_crit 比 = (1/0.87)^{1/0.21}=(1.149)^{4.76}=e^{4.76×0.139}≈e^{0.661}≈1.94≈2 ✓。推论的物理含义（【解读者推断】：§5.2 末段的展开）：α_S≈0.76 幂律暗示 Hessian 谱密度近似与模型大小无关——这是全文最接近"理论解释"的一笔，但作者也只用了"may/quite compelling"级别的措辞。

五、逐章精读 · 算力最优分配（对应论文§6、附录B）

对 L(N,C) 固定 C 求 ∂L/∂N=0（附录 B.1–B.2），得到闭式预测：

数字对账：0.054 与经验拟合的 0.050 吻合；0.71 与 0.73 在百分之几内一致（§6.2 明说"to within a few percent"）✓。另一处优雅的自洽：计算高效训练应停在收敛损失之上约 α_N/α_S≈10% 处（附录 B.5）——即"提前停止"有了定量表述。

§6.3 的自我矛盾与猜想：防过拟合要求 D∝N^0.74∝C^0.54，但不重复数据的计算高效训练只供给 D∝C^0.26（式6.6 vs 6.7）——两线必相交于 C*≈10⁴ PF-days、N*≈10¹² 参数、D*≈10¹² token、L*≈1.7 nats/token（式6.8）。乐观解读：L* 是自然语言的熵估计；保守解读：标度律在此之前就会失效。常见误读：把 L*≈1.7 nats/token 当成精确预言——原文强调其数值"highly uncertain，随指数取值可差一个数量级"。

一句话记住本节：算力翻十倍 → 模型大 5 倍、数据多 2 倍、步数几乎不变——"大模型优先"从这里成为教条。

分级自测题（本章）

1. L1用 α_N=0.076, α_S=0.76 验证"停在收敛损失上方 10%"的说法。
   显示答案

   α_N/α_S=0.076/0.76=0.10 ✓（附录 B.5：L(N_eff,C)=(1+α_N/α_S)·L(N_eff,∞)）。
2. L2迁移：若某实验室算力恰好等于 GPT-3 的水平但想按本文最优分配，相对 GPT-3 175B/300B-token 的配置，他们该怎么改？
   参考答案

   GPT-3 训了约 300B token、175B 参数（Chinchilla 论文 Table 1 口径）。按 D≳(5×10³)N^0.74，175B 参数需 ~1.4×10¹³ token 远超 300B，故 Kaplan 律本身已提示数据不足；但按 §6 最优分配，更小的模型+更多 token 才是计算最优——这正是下一篇 Chinchilla 的出发点。（开放题：能同时引出两套公式的张力给高分。）
3. L3识别错误：有人声称"既然 S∝C^0.03≈常数，说明训练步数无关紧要，随便早停即可"。
   评分要点

   错误有三：①S∝C^0.03 是"最优步数随预算增长缓慢"，不是"步数不重要"；②最优停止点是"距收敛损失约10%"，是精心校准的位置而非任意早停；③指数 0.03 小到论文自己说可能为 0，置信区间宽，不宜过度解读。

六、批判性阅读

6.1 benchmark 到底测什么

全文唯一的"效果指标"是 WebText2 测试集上的交叉熵损失（nats/token，1024 上下文平均，§2）。它测的是下一 token 分布匹配度，不直接等于下游任务能力。§8 作者罕见地自我提醒："more is different"、平滑的损失改善可能掩盖质变——这句话后来被 CoT、涌现能力等研究反复引用。

6.2 比较前提是否公平

• 学习率调度：所有 run 用 3000 步 warmup + 余弦退火到 0（§2.2）；后续 Chinchilla 论文指出这种"固定调度长度"会让中途快照的损失偏高，系统性低估小数据训练的效果——这是本文方法论最受质疑的一点【解读者推断，源自 Chinchilla §2 的批评】。
• batch 固定为 51 万 token（2¹⁹）：§3.3 自己承认这不是真正的最优配置，因此 naive 的 L(C) 指数 0.057 与修正后的 0.050 有差。
• >1B 参数模型改用 Adafactor（§2.2），优化器不一致引入潜在混杂。
• 数据集单一：WebText2（Reddit 外链 ≥3 karma 的启发式筛选，§2.3）——高质量英文网络文本，结论向其他语言/领域的外推性未知（附录 C 也只做了 caveat 级讨论）。

6.3 论文没有告诉你什么

1. 没有给出任何下游任务结果——全篇零 accuracy，"性能"始终=损失。
2. 推理成本缺席：大模型优先的分配只优化训练 FLOPs，完全未计推理侧代价——这正是 Chinchilla 反驳的入口之一。
3. 嵌入参数的处理对小模型的影响：小模型中嵌入占比高，排除后"有效 N"骤减，小尺度端拟合的权重如何影响指数，文中未做敏感性分析。
4. 随机种子方差仅 0.02 的估计方法未详述，而式 4.4 直接建立在该阈值上。

七、综合考核（毕业关）

1. 重建因果链仅从"α_N=0.076、α_D=0.095、α_S=0.76、α_B=0.21 四个数出发，推演 §6 必然得出的三个分配结论。
   参考答案

   ①α_C^min=1/(Σ1/α)≈0.054——调和平均结构决定了总标度最慢者主导；②N∝C^{α_C/α_N}≈C^0.71：因 α_N 是最小指数，模型规模吃掉大部分预算；③S∝C^{α_C/α_S}≈C^0.03：因 α_S 最大，步数增长近乎冻结。逻辑链：调和平均→指数比值→分配比例，一步都不能跳。
2. 数字总对账核对：2^−0.076≈0.95；8^0.74≈5；(0.87)^−1/0.21≈2；α_N/α_S=0.10；0.054≈0.050。
   显示答案

   五组全部复算通过（过程见各章手算节）。唯一需要注意口径的是 α_D 有 0.095（边际拟合）与 0.103（联合拟合）两个版本，以及 0.74 由 0.076/0.095≈0.80 与式4.4 实际使用的联合版本略有差异——引用时注明来源式子即可。
3. 设计决策答辩①为什么用非嵌入参数定义 N？②为什么要发明 C_min/S_min 折算而不是直接报 batch 固定的结果？③为什么敢从小模型外推到万亿级？
   评分要点

   ①Fig.6 显示含嵌入时不同深度的点散开、排除后收敛为单一趋势——经验必要性；②固定 batch 的 C 混入了并行低效，C_min 剥离后才得到干净的幂律（§6 开篇）；③不敢——§6.3 自己给出了矛盾点和失效边界 C*，外推合法性正是全文最大的软肋。每问按"理由+文中论据+局限"三点给分。
4. 证据审计重评 1.3 节预评。
   参考答案

   贡献1、5 维持★★★（内部双通道交叉验证是全文最强部分）；贡献2 升至★★★（aspect ratio 40 倍扫描 + LSTM 对照）；贡献3、4 维持★★（作者自认第三原则理论弱、拟合 imperfect）；贡献6 从★升半星——虽然仍是外推，但它做出了可证伪的定量预言（C*、L*），科学价值高于普通主张。