| 摘要短语（已核验） | 对应论文部分 | 本页章节 |
|---|---|---|
| "训练了一个大型深层卷积网络，对LSVRC-2010的130万张高分辨率图像分1000类" | §2 数据集 | 第2章 |
| "测试集top-1/top-5错误率39.7% / 18.9%，显著优于此前最好结果" | §5 结果 | 第6章 |
| "6000万参数、50万神经元、5个卷积层＋2个全连接层＋1000路softmax" | §3 架构 | 第3章 |
| "非饱和神经元＋高效GPU卷积实现，使训练更快" | §3.1 ReLU / §3.3 GPU双卡 | 第4、5章 |
| "在全连接层用新正则化方法（dropout）抑制过拟合" | §4.2 dropout | 第6章前部 |
数据规模(130万图) → 必须深(容量) → 显存放不下 → 双GPU切分 → 训练太慢 → ReLU+GPU实现 → 数据大而过拟合 → dropout+数据增强。枢纽节点是"数据规模"：它同时逼出了容量需求与过拟合问题两条支线。（解读者绘制）
| # | 声称的贡献 | 预评 |
|---|---|---|
| 1 | 在ImageNet上大幅刷新纪录，证明"更深CNN＋大数据＋GPU"路线可行 | 强实验支撑 |
| 2 | ReLU等非饱和激活显著加快大网络收敛（含CIFAR-10对比实验）二手·未核验 | 有消融 |
| 3 | dropout作为新正则化方法非常有效 | 有消融 |
| 4 | 局部响应归一化（LRN）有助泛化 | 仅有消融，后被时代淘汰 |
| 5 | 深度本身至关重要（砍层则性能骤降） | 有消融 |
必读主线：第2章 → 第3章 → 第4章 → 第6章。可跳读：第5章GPU并行细节（若不关心系统工程）。跳读代价：无法回答综合考核中关于"为什么恰好切成两半"的答辩题。
来源：解读者补充背景＋论文引言立场（经二手资料转述）。
学完本章你应能：说出2012年主流方法（SIFT类手工特征＋SVM）的两个结构性缺陷；解释为什么此前"神经网络不行"的结论其实是"小数据上的神经网络不行"。
【解读者补充】2000年代计算机视觉的主流水线是：人工设计特征（SIFT/HOG）→ 池化编码 → 线性分类器。它的天花板由人类对特征的想象力决定——每个新任务都要专家重新发明特征。神经网络并非没人试过：LeNet早在1998年就能做手写数字识别，但受限于数据规模与算力，在大图像集上训练不动也训不好。AlexNet论文开篇的叙事正是【论文声称】：要得到好性能需要三样东西同时到位——大标注数据、大模型容量、强算力，而ILSVRC-2010（130万训练图）第一次让三者可以会师。
一句话记住本节：AlexNet没有发明CNN，它发明的是"CNN＋百万级数据＋GPU"这个组合的可行性证明。
来源：架构描述见摘要（已核验）；逐层配置来自二手资料未逐字核验。
学完本章你应能：手算fc6一层的参数量并说明它占总参数的比例；画出八个层的连接序列；解释为什么参数大头不在卷积层。
【二手资料】整体结构可写为 (CONV→RN→MP)×2 → CONV3 → MP → (FC→DO)² → Linear → softmax，输入约224×224×3（Karpathy指出按kernel尺寸应为227×227，原文数字与此有出入，属著名的笔误争议）。五个卷积层通道数依次为96/256/384/384/256（每卡一半），第一层kernel 11×11、步幅4；随后两个3×3、一个3×3、一个3×3；全连接两层各4096单元，末层1000类。
| 符号/层 | 计算式 | 直觉 |
|---|---|---|
| conv1 | 11×11×3×96 ≈ 3.5万 | 卷积核很小，参数便宜 |
| fc6 | 256×6×6 × 4096 ≈ 3775万 | 把整张特征图拉平接入4096——参数爆炸点 |
| fc7 | 4096×4096 ≈ 1678万 | 全接连全连接 |
| fc8 | 4096×1000 ≈ 410万 | 分类头 |
手算验证：三个全连接合计 ≈ 37.75M + 16.78M + 4.10M ≈ 58.6M，占6000万总参数的约97%。【解读者推算，各层尺寸为二手资料】结论：AlexNet的"深度学习"叙事主要发生在卷积部分，但它的参数预算几乎全部押在全连接上——这直接解释了为什么dropout只用在fc层（过拟合恰恰集中在那里），也预示了后来全局池化取代巨型fc的演化方向（GoogLeNet/VGG之后的故事）。
【已核验】NeurIPS官方摘要写"500,000 neurons"；【二手资料】广泛流传并被维基百科引用的另一版本（CACM 2017重刊版及多数教程）写650,000神经元。两版数字对不上。可能的解释：统计口径不同（是否计入某层单元数）或重刊时的修订。这是精读中值得记录的真实不一致——引用时务必注明出处版本。
误读1："AlexNet赢了是因为网络深。" 以今天标准它并不深（8层）；它的胜利公式是"深度×数据×算力"三因子乘积，单拎任何一个都不成立。
误读2："ReLU是新发明。" 【解读者推断】ReLU函数早已存在，论文的贡献是在大规模场景下实证其相对tanh/sigmoid的训练速度优势（CIFAR-10上达到同等训练错误率快约25%，此数字二手·未核验）。
误读3："双GPU是为了提速。" 首要动机是显存放不下（单块GTX 580只有3GB），其次才是吞吐。
一句话记住本章：五层卷积负责"看得懂"，三层全连接花掉97%的参数负责"记得住"，过拟合之战因此在fc层打响。
来源：ReLU/dropout主张见摘要（已核验）；训练超参来自二手资料未逐字核验。
学完本章你应能：写出LRN公式并代入常数；解释dropout为何等效于模型集成；列出完整SGD配方。
饱和激活（sigmoid/tanh）的致命伤：梯度随|z|增大趋于0。60M参数的大网络一旦进入饱和区，反向传播近乎断流——这不是理论担忧，而是当时训练深网络的日常现实。ReLU f(x)=max(0,x) 在正区间导数恒为1，且无指数运算，快且不易饱和。【实验支持】论文报告在CIFAR-10上ReLU网络比tanh网络更快达到相同训练错误率（约25%的时间，二手·未核验）。
| 符号 | 含义 | 直觉 |
|---|---|---|
| aix,y | 第i个卷积核在(x,y)处的ReLU输出 | 原始竞争值 |
| Σ…² | 同位置相邻n个通道的平方和 | "邻居有多兴奋" |
| k, α, n, β | 常数2、10⁻⁴、5、0.75（二手·未核验） | 调出来的，非推导出来的 |
【解读者推断】LRN本质是人造的"通道间侧向抑制"，模仿生物神经元的竞争机制。它在AlexNet的消融中有正收益，但此后被BatchNorm彻底取代——它是本文遗产中唯一"死掉"的组件，读的时候知道即可，不必神化。
① 数据增强：从256×256随机裁224×224＋水平翻转（增广2048倍，二手）＋RGB主成分扰动。缓解：样本稀缺压力；新增：CPU端在线增强的工程量；几乎零算力成本（论文称"computationally free"）。② dropout：fc层训练时以0.5概率丢弃单元。缓解：fc层的共适应过拟合；新增：收敛约需2倍迭代次数（二手·未核验）；本质是把指数多个子网络的预测隐式平均。③ LRN：见上。给后文欠的债：dropout推理期需缩放权重，且与大batch训练相性一般——这笔债在ResNet时代的BN普及后才被清算。
【二手资料】SGD：batch=128、动量0.9、权重衰减5×10⁻⁴、初始学习率10⁻²、验证误差停滞即除10（共降三次至10⁻⁵）、两块GTX 580训练5–6天、约90个epoch。对账检查：batch 128×动量0.9的有效步长放大≈1/(1−0.9)=10倍，对应初始lr 0.01——数量级上自洽（相当于裸lr 0.1的激进程度，配合梯度裁剪式的历史积累是合理的）。【解读者推算】
一句话记住本章：ReLU治梯度断流，双GPU治显存不够，增强+dropout治6000万参数记性太好。
来源：二手资料未逐字核验；动机句"网络放不进单卡显存"与维基百科所引原文§3.2一致。
网络（除最后几层外）被纵切成互为镜像的两半，各驻一块GTX 580（3GB）。通信规则：只在特定层交换——第2、4、5卷积层只看自己GPU上一层的输出（组内通信为零），第3层与fc层跨卡读全部通道。这个"选择性通信"模式是后来数据并行/模型并行混合策略的雏形。
缓解：3GB显存墙。新增：跨卡同步开销与编程复杂度（作者自写CUDA框架cuda-convnet）。埋债：切分方式是手工设计的，不可迁移——通用自动并行的需求要到多年后才被Megatron等工作系统性解决。
误读："两张卡=2倍加速。" 切半减少了各自显存压力但引入了同步点，实际接近但不到2倍，论文未给出干净的加速比分解，未核验。
一句话记住本章：这不是为了炫技的双卡，而是"显存墙逼出来的拓扑设计"——哪里省通信，就把边界画在哪里。
来源：二手资料未逐字核验；"计算上免费"（computationally free）的表述为论文原文立场。
学完本章你应能：复现训练/测试两条数据流水线的每一步；解释为什么测试时的多裁剪平均会抬高成绩、以及它对"模型真实能力"的稀释作用。
图像先缩放至短边256，取中心256×256裁剪并做白化式归一化；训练时从中随机裁224×224（含水平翻转），并按训练集RGB的三个主成分方向做随机幅度扰动。关键工程决策：这一切在CPU上在线完成，与GPU训练并行——GPU永远不缺粮，数据增强不占训练时间预算。【解读者推断】这是"数据管道与计算图解耦"思想的早期范本，今天的数据加载器（DataLoader worker）设计与此同构。
预测一张新图：缩放至短边256→取中心256×256→抽出五个224×224补丁（四角＋中心）＋各自水平翻转，共10个视角，把网络对10个视角的softmax概率取平均作为最终预测。【解读者观点】这等于免费把测试算力放大10倍换精度——它与7模型集成叠加后，报告的成绩已经是"系统级"而非"模型级"。读任何竞赛论文都应先问：成绩是单次前向的吗？
| 数字 | 出处等级 | 备注 |
|---|---|---|
| ILSVRC-2010测试：top-1 39.7%、top-5 18.9% | 【已核验·官方摘要】 | 注意：这是单一口径 |
| ILSVRC-2012夺冠：top-5 15.3%，领先第二名超过10.8个百分点 | 【二手·维基百科引官方成绩页】 | 参赛系统是7个AlexNet的平均集成 |
| 第二名基线约26.2% | 【二手·广泛引用】未核验 | 对手仍是手工特征方法 |
比较前提审计：①对手用的是SIFT/LBP类手工特征＋传统分类器，双方"尽力程度"不对称——AlexNet是7模型集成＋多次裁剪投票测试，对手多为单模型；②评测集固定、无重复实验置信区间；③BLEU式的"第二坐标轴"（能耗/延迟）完全缺席：两块GTX 580连续跑5–6天的训练成本未被折算进叙事。【解读者观点】这些瑕疵都不动摇历史结论，但提醒我们"碾压"二字背后有集成与测试时增强的放大效应。
原始实现在cuda-convnet仓库（BSD许可，后被计算机历史博物馆重新发布，【二手资料】）。动手练习建议：①在现代框架中复现AlexNet并核对参数总量≈60M；②把fc层换成全局平均池化，观察参数量与精度变化；③关闭数据增强重训，量化过拟合差距。