阅读约定 本页所有数字均复述自论文原文（arXiv HTML 版全文），未做外部验证。凡标注【解读者补充】或【解读者推断】的内容不来自论文；【论文声称】为作者叙事，【实验支持】表示文中有对应实验数据。证据强度标记：★★★ 主实验+消融 ★★ 单一证据 ★ 只是主张
| 摘要短语 | 论文位置 | 本页章节 |
|---|---|---|
| "two novel model architectures for computing continuous vector representations" | §3 New Log-linear Models | 第三章 CBOW 与 Skip-gram |
| "quality … measured in a word similarity task" | §4.1 Task Description | 第四章 评测任务与全部结果数字 |
| "large improvements in accuracy at much lower computational cost" | §2 复杂度定义、§4.3/4.4 对比 | 第二章、第四章 |
| "less than a day to learn high quality word vectors from 1.6 billion words" | §4.3 Table 5、§7 Follow-Up | 第四章 |
| "state-of-the-art performance on syntactic and semantic word similarities" | §4.3 Tables 3–4、§5 Examples | 第四、五章 |
| # | 论文声称的贡献 | 预评证据强度 | 依据 |
|---|---|---|---|
| C1 | CBOW / Skip-gram 两种去掉隐藏层的对数线性架构能以极低成本学到高质量词向量 | ★★★ | Table 3 架构对比 + Table 4 公开向量对比 + Table 5 训练成本对比，主实验充分 |
| C2 | Semantic-Syntactic Word Relationship 测试集可系统度量词向量的句法/语义规律 | ★★★ | 8869 语义题 + 10675 句法题的构造过程明确（§4.1） |
| C3 | 维度与数据量必须同步增大才能持续提升精度（Table 2） | ★★ | 仅一张扫描表支撑，无统计显著性检验 |
| C4 | DistBelief 分布式训练下可在万亿词级语料上训练（结论 §6 "should be possible"） | ★→★★ | 实际只报告了 6B 词、1000 维的结果（Table 6）；万亿词是外推主张 |
| C5 | 词向量可推广到句子补全等其他任务并刷新 SOTA | ★★ | MSR Sentence Completion 58.9%（Skip-gram+RNNLM 组合），单一任务 |
以上预评分将在第六节"证据审计"中回看修正。
词的原子表示问题（无相似性概念） → NNLM/RNNLM 的分布式表示效果好但太贵 → 复杂度公式 Q=E×T×Q 中 H×V 是瓶颈 → 砍掉非线性隐藏层 → CBOW（上下文→中心词）/ Skip-gram（中心词→上下文） → 层级 softmax 用 Huffman 树压缩输出层代价 → 省下的算力换数据量和维度 → 向量算术（King−Man+Woman≈Queen）+ 自建测试集验证 → word vectors 成为下游 NLP 的标准积木
枢纽节点："复杂度公式 O = E×T×Q"（论文式(1)）。全文所有设计决策都在围绕它做减法，读懂它后面全是顺推。最长依赖链即上行主干线本身。
必读主线：§2 复杂度分析 → §3 两种新模型 → §4.1 测试集定义 → §4.3 架构对比（Tables 3–4）→ §5 向量算术实例。
可跳读支线：§2.3 DistBelief 并行细节、§4.5 MSR 句子补全。跳过 §2.3 的代价是看不懂 Table 6 的"days × CPU cores"单位从哪来；跳过 §4.5 几乎无代价（该任务是旁证）。
来源：论文 §1 Introduction、§1.2 Previous Work、§2 Model Architectures（约第 1–2 页）。本节解读框架含解读者补充。
学完本章你应能：①写出三种模型各自每训练样本的计算复杂度公式；②说出 NNLM 的复杂度瓶颈项是哪个乘积、为什么；③解释为什么 Huffman 树比平衡二叉树更快、加速倍数如何估算；④手算一个给定 (N, D, H, V) 组合的 Q 值。
2013 年之前的主流做法是把词当原子编号：one-hot 表示下任何两个词的距离都相等，"猫"和"狗"与"猫"和"飞机"没有区别。神经语言模型（NNLM，Bengio 2003；RNNLM，Mikolov 2010）学到的分布式表示解决了相似性问题，且效果确实好——但贵。论文 §1 给出疼点：语音识别的高质量转写语料往往只有百万词级，机器翻译语料也只有几十亿词级，"简单模型+海量数据"路线在这些任务上撞墙，必须让复杂模型也能吃得下大数据。而当时没有任何已有架构在几亿词以上、50–100 维以外的设置上成功训练过（论文 §1.1 原话）。
类比：NNLM 像一家每个订单都要请大厨现做的餐厅——味道好但产能被大厨卡死；word2vec 是把大厨撤掉、只留配菜台和收银台的快餐流水线——单份品质略降，但翻台率提升几个数量级，于是可以服务多得多的客人（数据）。
类比在哪里失效：快餐的品质下降是均匀的，而砍掉隐藏层的代价是不对称的：Table 3 显示 Skip-gram 在语义任务上反而比带隐藏层的 NNLM 好得多（55% vs 23%），因为更大的数据量补回了表达力，甚至超额补偿。类比无法预示这种反超。
所有模型的训练总复杂度（论文式(1)）：
| 符号 | 它是什么 | 直觉 |
|---|---|---|
| E | 训练轮数（epochs），常用 3–50 | 同一批数据反复吃几遍 |
| T | 训练集词数，可达十亿级 | 食材总量 |
| Q | 每个训练样本需访问的参数数 | 吃一口要动多少设备 |
前馈 NNLM（论文式(2)），输入 N 个 one-hot 词，投影到 D 维共享投影层，再经 H 个隐单元到 V 维输出：
三项含义依次为：投影层组合（便宜，因为只有 N 个输入非零）、投影层到隐藏层的稠密矩阵乘（N=10 时已是主导项之一）、隐藏层到全词表输出的矩阵乘。瓶颈是 H×V：H 取 500、V 取百万时这一项就是 5×108。用 Huffman 树层级 softmax 可把 V 压成 log2(V)，而论文进一步指出 Huffman 树给高频词更短编码，只需评估约 log2(Unigram_perplexity(V)) 个输出单元——词表一百万时约提速两倍（论文 §2.1）。
RNNLM（论文式(3)）：Q = H×H + H×V，瓶颈移到 H×H（循环矩阵），同样可用层级 softmax 砍掉第二项的大头。
张量形状速查【解读者补充】：NNLM 输入 batch×N 的整数序列 → 查表得 batch×N×D → 平均/拼接为 batch×N·D → 隐层 batch×H → 输出 batch×V。维度流里唯一的"稠密大矩阵"出现在 N·D→H 和 H→V 两处。
误读1："层级 softmax 是 word2vec 发明的。"不对——论文 §2.1 明确引用 Morin & Bengio 2005 等前作，本文只是采用 Huffman 编码版本。
误读2："复杂度 O=E×T×Q 中的 Q 是参数量。"不是参数总量，是每个训练样本需要访问的参数次数，两者在稀疏激活下差别巨大（投影层只有 N 行被动到）。
误读3："RNNLM 比 NNLM 慢是因为多了投影层。"恰恰相反，RNNLM 没有投影层（论文 §2.2），慢在其循环矩阵 H×H 无法像 H×V 那样被 softmax 技巧削减。
一句话记住本节：神经语言模型的一切开销都写在 Q 里，谁砍掉 Q 里最大的那一项，谁就赢得了用数据换质量的入场券。
不看材料，你能：①默写三个 Q 公式？②指出 NNLM 和 RNNLM 各自的瓶颈项？③解释 Huffman 树为何优于平衡树、加速比怎么估？④说明为什么投影层组合"相对便宜"？答不上的条目回读 §2.3–2.4。
来源：论文 §3 New Log-linear Models、§3.1、§3.2（约第 3 页）。
学完本章你应能：①画出 CBOW 与 Skip-gram 的数据流并说清二者预测方向的差别；②写出两者的 Q 公式并与 NNLM 对比；③解释 Skip-gram 中 C 与随机数 R 的采样机制；④论证"为什么去掉隐藏层反而可能更好"。
上一章结尾已经把账算清：即便用层级 softmax 干掉了 H×V，NNLM 还剩 N×D×H 这个硬骨头——只要非线性隐藏层存在，每个样本就要过一次稠密大矩阵。论文 §3 开头点破："most of the complexity is caused by the non-linear hidden layer"。方案：干脆不要隐藏层，让模型变成一个纯对数线性分类器，把省下的计算全部投给数据和维度。
CBOW（Continuous Bag-of-Words，§3.1）：取当前词的历史 4 词 + 未来 4 词（共 N=8 个上下文词），各自的词向量经过共享投影矩阵后直接平均（注意：是投影结果也共享位置，不只是矩阵共享），得到一个 D 维向量，再用它做 log-linear 分类去预测中间词。训练目标 = 用上下文正确分类中心词。复杂度（论文式(4)）：
Skip-gram（§3.2）：方向反过来——用当前词做输入，预测它前后一定范围内的每个词。范围上限 C（论文实验取 C=10）：每次为当前词随机抽 R∈⟨1,C⟩，各取历史 R 词、未来 R 词作为标签，做 2R 次"当前词→邻居词"的分类。远处的词因采样概率低而被自然降权。复杂度（论文式(5)）：
| 符号 | 它是什么 | 直觉 |
|---|---|---|
| N | CBOW 上下文窗口词数（实验取 8=4历史+4未来） | 几个邻居投票猜中间人 |
| D | 词向量维度 | 每个词的名片大小 |
| C / R | 最大窗口距离 / 每次随机抽的实际距离 | 近邻多学、远邻少学 |
| log₂(V) | Huffman 层级 softmax 的输出评估深度 | 全词表输出被压成一条树路径 |
形状流【解读者补充】：CBOW 输入 batch×8 整数 → 8 张 batch×300 查表 → 元素平均 → batch×300 → 输出层 batch×log₂(V) 条路径打分。全程没有 H 维隐层、没有 tanh。
误读1："Skip-gram 是预测下一个词的语言模型。"错。它是用中心词预测窗口内每一个上下文词，且每个上下文词是一次独立的多分类，不是序列生成。
误读2："CBOW 的'bag-of-words'指丢弃词序所以丢光了信息。"部分错：词序信息确实不进入投影，但窗口内的位置对称性恰好符合"邻近共现"这一信号的本质；Table 3 显示其句法任务表现并不差。
误读3："没有隐藏层=没有非线性，所以这根本不算神经网络。"严格说是 log-linear 模型（论文自称 new log-linear models）；它的"深"不在计算图，而在训练数据的规模。
【论文声称】去掉隐藏层不会明显损失质量。【实验支持】Table 3：CBOW 句法 64%、语义 24%，均不低于或超过 NNLM（53%/23%）。【解读者推断】作者真正的赌注是"数据量的边际收益 > 非线性表达力的边际损失"，这个赌注成立的前提是语料足够大——在小语料上未必成立（论文未做小数据下的架构对比，这是缺口）。
一句话记住本节：CBOW 用邻居猜中心，Skip-gram 用中心猜邻居；两个模型都是"查表+平均+一层分类"，把每一分算力都花在数据上。
不看材料，你能：①画出两个模型的数据流？②默写两个 Q 公式并代入 D=300、V=30K 算出数值？③说清 C 与 R 的关系及远词降权机制？④举出 Skip-gram 优于 CBOW 的任务类型？
来源：论文 §4 Results（§4.1–§4.5）、§5 Examples（约第 3–6 页）。
学完本章你应能：①描述 Semantic-Syntactic 测试集的构成与判分规则；②复述 Table 3/4/5/6 的关键数字并解释每张表回答的问题；③完成一次跨表数字对账；④说出 MSR 句子补全任务的玩法与结果。
测试集含 5 类语义 + 9 类句法问题，共 8869 道语义题、10675 道句法题。题型是四元组类比："biggest 之于 big，正如 ? 之于 small"。求解方式：计算 X = vector("biggest") − vector("big") + vector("small")，在词表中找余弦距离最近者（搜索时剔除题目中的三个输入词）。判分极严：必须精确命中答案词，同义词也算错；因此论文自己承认 100% 正确率几乎不可能（模型没有任何词形态学输入）。
① 维度×数据扫描（Table 2，CBOW、限 30K 词表、3 epochs、lr 0.025 线性退火）：50 维/783M 词 → 23.2%；300 维/783M → 45.9%；600 维/391M → 46.6%；600 维/783M → 50.4%。规律：过了某一点后单加维度或单加数据的边际收益都递减，两者必须一起加。
② 同数据同维度（640维、320M LDC 语料）架构对决（Table 3）：
| 模型 | 语义 % | 句法 % | MSR 相关性测试集 [20] |
|---|---|---|---|
| RNNLM | 9 | 36 | 35 |
| NNLM | 23 | 53 | 47 |
| CBOW | 24 | 64 | 61 |
| Skip-gram | 55 | 59 | 56 |
③ 单机训练、全词表、对比公开向量（Table 4）：Collobert-Weston NNLM 50维/660M词 总准确率 11.0%；Turian 37M词最好 2.1%；Mikolov RNNLM 640维/320M 24.6%；Huang NNLM 50维/990M 12.3%；本文 NNLM 100维/6B 50.8%；CBOW 300维/783M 36.1%；Skip-gram 300维/783M：语义 50.0、句法 55.9、总 53.3%。CBOW 训练约一天，Skip-gram 约三天。
④ 1 epoch vs 3 epochs（Table 5）：3ep Skip-gram 300维/783M 得 53.3%（耗时3天）；1ep 同配置 49.2%（1天）；1ep 600维/783M 达 55.5%（2.5天）；1ep Skip-gram 300维/1.6B 词达 53.8%（2天）。结论：双倍数据跑一遍 ≥ 同数据跑三遍。
⑤ DistBelief 大规模并行（Table 6，6B Google News，异步 Adagrad，50–100 副本）：NNLM 1000维训练时间不可行（未完成）；CBOW 1000维 63.7%（2天×140核）；Skip-gram 1000维 65.6%（2.5天×125核）。
⑥ MSR 句子补全（§4.5，1040 题五选一）：4-gram 39%、LSA 49%、Log-bilinear 54.8%、RNNLMs 55.4%（原SOTA）、单独 Skip-gram 48.0%，Skip-gram+RNNLMs 加权组合 58.9%（开发集 59.2%/测试 58.7%）。
⑦ 向量算术实例（§5 Table 8，基于 Table 4 最佳 300 维 Skip-gram）：Paris − France + Italy ≈ Rome；Einstein − scientist ≈ Messi:midfielder、Mozarta:violinist；Microsoft − Ballmer ≈ Apple:Jobs；Japan − sushi ≈ Germany:bratwurst。论文注明按严格精确匹配口径这些示例只对应约 60% 的水平；用 10 个关系样例取平均向量可再提约 10 个绝对百分点（§5）。
误读1："Table 4 里本文模型碾压一切，说明架构是唯一原因。"不对——同表中各对手的训练词数从 37M 到 990M 不等、维度多为 50–200，比较前提并不等价（详见第五节批判性阅读）。
误读2："King−Man+Woman=Queen 是这篇论文首次发现。"不是——论文 §1.1 明确引 Mikolov et al. NAACL 2013 [20] 的 word offset 技术，本文贡献是把这种规律的准确率最大化并给出系统测试集。
误读3："准确率 55% 很低，说明方法不行。"精确匹配口径下同义词即判错、且模型无形态学知识，论文 §4.1 已声明此天花板；评价要看相对差距而非绝对值。
【论文声称】可以在万亿词语料上训练（§6）。【解读者推断】这是从 Table 6 的 6B 结果外推的主张，文中并无万亿词实验。【实验支持】"维度与数据要同步扩大"有 Table 2 全表支撑；"Skip-gram 语义强于其他架构"有 Table 3 支撑。
砍掉隐藏层：缓解了算力压力（Q 从百万级降到千级）；新增的压力是对数据量的饥渴（必须喂 6B 级语料才兑现质量）；埋下的债是一词多义无处安放——每个词只有一个向量，一词多义被迫折中进同一个点，这个问题要到 ELMo/BERT 时代才偿还。DistBelief 异步更新：缓解了训练墙钟时间，新增了副本间梯度陈旧的复杂性（论文 §4.4 注明分布式下 CBOW 与 Skip-gram 的实际 CPU 占用差异比单机版小很多）。
一句话记住本节：省下来的每一 flop 都变成了数据；Skip-gram 语义 50%+、DistBelief 千维 65.6%、句子补全组合 58.9%——便宜真的能赢。
不看材料，你能：①报出测试集两类题目的数量？②写出四元组题的向量运算式与判分规则？③复述 Table 3 四个模型的三列成绩？④解释"1 epoch 大数据 > 3 epochs 小数据"的证据来自哪张表？⑤算出 Table 4 Skip-gram 的加权总分？
Semantic-Syntactic 测试集测量的是"向量减法+最近邻检索能否还原人工整理的四元组类比"。名字里的"semantic/syntactic similarity"略有误导性：它测的是关系规律的可线性化程度，不是词义相似度本身（后者另有 Word Similarity 任务）。精确匹配规则还把一部分错误归咎于词形态学缺失——论文对此诚实声明（§4.1）。
Table 3 是全文最公平的一张表（同语料 320M、同 640 维），可信度最高。Table 4 的公开向量对比则前提不等价：对手维度普遍 50–200、语料 37M–990M，本文用 6B 语料 + 更高维度参战。尽力模式 vs 默认模式的不对称客观存在，尽管论文同时提供了 Table 3 这组受控对比来补救。Table 6 中 NNLM 1000 维"训练太久无法完成"意味着最重量的对手缺席了大规模回合。
本文最大的亮点恰好在第二坐标轴：单 CPU 三天（Skip-gram 300 维/783M）vs RNNLM 单 CPU 八周；DistBelief 下 2 天×140 核拿到 63.7%。任何引用 word2vec 结果时都应同时引用其训练成本——这是它改变行业的原因，而不只是 53.3% 这个分数。
①无统计显著性检验：所有表格均为单次运行结果，无方差、无多 seed；②负例分析缺失：没有展示类比失败案例的系统归类（§5 只有成功例子加一句"约60%"的自评）；③Google News 语料不公开，第三方难以完全复现 Table 4/6 的数字；④负采样（Negative Sampling）缺席：成为业界标配的 NEG 技巧只出现在 §7 提到的后续 NIPS 2013 论文 [21] 里，本文正文仅有层级 softmax 一种输出层方案；⑤超参数敏感性（学习率、窗口）只有零星叙述，无系统消融。
本页所有百分比、天数、核数均转录自 arXiv:1301.3781 HTML 版原文相应小节，未做任何外部复核或重新实验；引用时请注明出处为论文原文而非独立验证结论。
综合只给你三个数字："6B tokens"、"300 维"、"一天"。推演：这三个数字共同逼出了哪些设计决策？每个数字各自排除了哪些备选方案？
参考答案（评分标准见内）
①6B 数据 → 输出层必须用层级 softmax（全 softmax 的 H×V/V×D 项爆炸），且模型必须足够简单才能多轮吃完数据 → 排除深层非线性架构（2 分）；②300 维 → 由 Table 2 的边际收益曲线选定，配合"数据与维度同步扩大"原则 → 若只有 6B 却给 50 维则欠拟合、给上千维则单机不可行（2 分）；③一天 → 要求 Q≤千万级/样本事件，排除 NNLM（Table 6 显示其 1000 维在分布式下都无法完成），锁定 CBOW/Skip-gram（2 分）。三者合起来就是论文的全部架构故事。（开放题：建议连同你的答案交由任意 LLM 当裁判按要点给分。）
综合检查以下五组数字的一致性，并指出哪一组对不上、可能原因是什么：A) 摘要"1 day/1.6B words" vs Table 5；B) Table 4 Skip-gram 语义/句法分 vs 总分；C) Table 2 中 300 维/783M 的 45.9% vs Table 4 CBOW 300 维/783M 的 36.1%；D) §2.1 "词表一百万时 Huffman 约两倍提速" vs log₂(10⁶)≈20；E) Table 6 CBOW 1000 维 63.7% vs Table 4 CBOW 300 维 36.1%。
参考答案
A) 一致（0.6 天 CBOW）✓。B) 基本一致，加权 53.22% vs 表载 53.3%，舍入差 ✓。C) 对不上但不矛盾：Table 2 仅统计 30K 高频词内的题目（受限词表），Table 4 用全题集，题目池不同导致分数系统性下降（2 分）。D) 一致：平衡树 log₂V≈20 层，Huffman 按 unigram 困惑度编码后期望路径约短一半，对应约两倍提速 ✓。E) 一致方向：维度从 300→1000 且都用 6B 数据，36.1→63.7 合理 ✓。关键得分点是 C——识别"评测口径不同"这类隐蔽的对不上。
综合对以下三个决策各答三连（为什么这样做/不这样做会怎样/论据够不够）：①去掉非线性隐藏层；②用 Huffman 树而非平衡树做层级 softmax；③Skip-gram 对远距词降采样而非等权训练。
参考答案要点
①为了把 Q 从 O(N×DH+HV) 压到 O(D·logV) 量级，从而吃下 6B 语料；不这样做则只能停在 320M 语料、几十维（前人状态）；论据充分度：Table 3 受控对比证明质量未崩，够硬。②高频词路径短、低频词路径长，期望评估深度低于 log₂V；不用则白丢约一半输出层算力；论据：论文给出理论估计+一句实测（约2倍），中等偏弱——没有单独消融表。③远词相关性弱且等权会让 C 直接乘进 Q；降权在不增加计算的前提下保留长程信息；论据：机制合理但文中无 α-窗口敏感性实验，偏弱。（每项 2 分：机制、后果、证据评估各占其一。）
综合回看 1.2 的预评分并给出读后修正：
参考答案（解读者示范）
C1 ★★★ 维持：受控（Table 3）与非受控（Table 4/5/6）证据互相印证。C2 ★★★ 维持，但补一条批评：判分的形态学天花板论文已自认，测试集本身设计合格。C3 ★★ 上调至 ★★+：Table 2 是扫描网格而非单点，方向可信，但仍缺重复实验。C4 ★→维持 ★：全文始终没有万亿词实验，"should be possible" 到读完仍是主张；这是全文最大的言过其实点。C5 ★★ 维持：58.9% 有明确数字，但仅一个任务、且是组合模型拿的分，单独 Skip-gram 只有 48.0%——引用时必须拆开说。
①用 gensim 在 text8（约 17M 词）上分别训 CBOW/Skip-gram，复现"语义弱于论文"的小数据效应；②实现 vector("king")−vector("man")+vector("woman") 最近邻检索，统计精确命中率与 top-5 命中率的差，体会精确匹配口径的严苛；③改窗口 C∈{2,5,10} 观察语义/句法分的变化方向，验证或反驳 6.3-③ 的机制假设。