ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)

为什么这篇论文重要

2012 年之前，计算机视觉是手工特征 + 浅层模型的天下（SIFT + SVM、HOG + Boosting）。 2012 年的 ImageNet 大赛上——

AlexNet（一个 8 层 CNN）把 top-5 错误率从前一年的 26% 直接砍到 15.3%。

第二名 SIFT 方法是 26.2%——AlexNet 领先 10.9 个百分点。 这不是渐进改进，这是碾压。

深度学习革命，从 2012 年这篇论文真正开始。

三个改变历史的选择

AlexNet 不是”凭空”出现的——它的关键创新都是反直觉但有效的选择：

1. 大 + 深的 CNN（5 卷积 + 3 全连接 = 8 层）

2012 年的”主流神经网络”是 2-3 层。AlexNet 干到 8 层 + 6000 万参数。

输入: 227×227×3 图像
   ↓
Conv 1: 11×11, 96 filters, stride 4   → 55×55×96
   ↓ MaxPool, LRN
Conv 2: 5×5, 256 filters               → 27×27×256
   ↓ MaxPool, LRN
Conv 3: 3×3, 384 filters               → 13×13×384
Conv 4: 3×3, 384 filters               → 13×13×384
Conv 5: 3×3, 256 filters               → 13×13×256
   ↓ MaxPool
FC 6: 4096 units
FC 7: 4096 units
FC 8: 1000 units (ImageNet 类别数)

2. ReLU 激活（不是 sigmoid）

之前主流是 sigmoid / tanh，导致深层网络梯度消失。AlexNet 用：

$$\text{ReLU}(x) = \max(0, x)$$

效果：训练收敛快 6 倍。这是深度学习的关键 enabler——没 ReLU，根本训不动 8 层。

3. GPU 训练（两张 GTX 580）

CPU 训练这个模型要几个月。AlexNet 用 CUDA 把卷积写到 GPU—— 2 张 GTX 580（每张 3GB 显存）训了 5-6 天。

这是第一次 GPU 用于训大型神经网络。从此 NVIDIA 股价开始它的 100× 之旅。

几个工程细节

Dropout（在 FC 层用 0.5）

随机丢弃神经元，防过拟合。AlexNet 是第一个大规模应用 Dropout 的网络。

数据增强

• 随机裁剪 224×224 patches
• 水平翻转
• PCA 颜色扰动

ImageNet 130 万图像被增强成”无限”数据。

Local Response Normalization

后来被 BatchNorm 取代，但当时是关键。

模型并行

把模型切到 2 张 GPU 上跑—— 这是第一个用模型并行训神经网络的工业级实例。

ImageNet 大赛的意义

ImageNet 是 Fei-Fei Li 等人 2009 年建的数据集：

• 1400 万图像
• 2 万 + 类别
• 大规模 + 高质量标注

2010 年起 ILSVRC 竞赛—— 每年一次，挑战 1000 类分类。

年份	冠军方法	Top-5 错误率
2010	浅模型 + 特征工程	28.2%
2011	同样路线，略改进	25.8%
2012	AlexNet	15.3% ← 跳变
2013	ZFNet (CNN 改良)	11.7%
2014	VGG / GoogLeNet	7.3%
2015	ResNet	3.57% ← 超过人类

2012 年之后全部冠军都是 CNN——AlexNet 打开了通道。

后续工作（CNN 演化）

网络	年	关键贡献
AlexNet	2012	ReLU + GPU + Dropout
VGG	2014	小 kernel (3×3) + 深（16-19 层）
GoogLeNet / Inception	2014	Inception 模块（多尺度卷积）
ResNet	2015	残差连接（解决梯度消失，152+ 层可行）
DenseNet	2017	密集连接
EfficientNet	2019	神经架构搜索

每一代都站在 AlexNet 肩膀上。

与 Transformer 时代的联系

2017 Transformer 出现后，ViT (Vision Transformer, 2020) 提出把图像切 patch + 用 Transformer 直接处理—— 逐渐取代纯 CNN。

但：

• CLIP / Stable Diffusion 的 vision encoder 还是 CNN-based（或 hybrid）
• EfficientNet 类仍在 mobile 上广泛应用
• CNN 的归纳偏置（局部性 + 平移不变）让小数据集上仍胜过 Transformer

CNN 没死——它和 Transformer 共存。

这篇论文的真正影响

学术：

• NeurIPS 2012 接收——开启深度学习黄金十年
• 1 万 + 引用（当年最高论文之一）

工业：

• 2013 起 Google / Facebook / Microsoft 全部转向深度学习
• GPU 行业从此被 NVIDIA + AI 推着走
• AI 创业潮起点

人物：

• Alex Krizhevsky → Google
• Ilya Sutskever → 联合创立 OpenAI
• Geoffrey Hinton → Google → 2023 退休警告 AI 风险，2024 诺贝尔物理学奖

一个最小 AlexNet 复刻

import torch.nn as nn

class AlexNet(nn.Module):
    def __init__(self, num_classes=1000):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 96, kernel_size=11, stride=4), nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(inplace=True),
            nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(),
            nn.Linear(256 * 6 * 6, 4096), nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096), nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = x.view(x.size(0), 256 * 6 * 6)
        return self.classifier(x)

50 行——但需要 ImageNet 和几天 GPU 才能复现 2012 年的成绩。

推荐配套阅读

• HelloAI: L3-06 CNN 卷积原理 + L3-01 感知机到 MLP
• AlexNet 原论文（Krizhevsky et al. 2012, NeurIPS）
• ImageNet 论文（Deng et al. 2009）
• ResNet 论文（He et al. 2015）—— 后续