AlexNet 是什么？开启深度学习时代的卷积神经网络

AlexNet 是一个深度卷积神经网络，由多伦多大学的 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 在 2012 年提出，论文标题是《用深度卷积神经网络进行 ImageNet 分类》。它在当年的 ImageNet 大规模视觉识别挑战赛（ILSVRC）中获得第一名，被普遍认为是深度学习复兴的起点，开启了 AI 的新时代。

一场改变历史的比赛

ImageNet 挑战赛要求模型识别 1000 个类别的图片，训练集有一百多万张图片。在 2012 年之前，最好的方法依赖人工设计的图像特征，再加上传统的分类器，前五名错误率大约在 26% 左右，每年只有小幅的进步。AlexNet 一举把前五名错误率降到了 15.3%，比第二名低了 10 个百分点以上。如此巨大的差距震惊了整个计算机视觉领域，此后几年，几乎所有参赛团队都转向了深度学习。

它做对了什么

AlexNet 有 8 层（5 个卷积层和 3 个全连接层），约 6000 万个参数，在当时是非常大的网络。它的成功得益于几个关键的技术选择：

用 GPU 训练：作者用两块 GTX 580 显卡并行训练网络，GPU 强大的并行计算能力让训练这样大的网络成为可能。这开创了用 GPU 训练深度学习模型的先河，也间接推动了英伟达在 AI 领域的崛起。ReLU 激活函数：用 ReLU 代替传统的 Sigmoid 或 tanh 函数，训练速度快了好几倍，也缓解了梯度消失问题。Dropout：在全连接层中使用 Dropout，有效减轻了过拟合。数据增强：通过随机裁剪、水平翻转、调整颜色等方式扩充训练数据。此外还使用了重叠池化等技巧。

影响

AlexNet 证明了：只要有足够多的数据和足够强的算力，深度神经网络就能大幅超越传统方法。数据、算力、算法这三要素的结合，从此成为 AI 发展的主线。论文的三位作者后来都成为 AI 领域的关键人物：Ilya Sutskever 是 OpenAI 的联合创始人之一，Geoffrey Hinton 在 2018 年获得图灵奖、2024 年获得诺贝尔物理学奖。AlexNet 之后，VGG、GoogLeNet、ResNet 等更深、更强的网络相继出现，计算机视觉进入了深度学习主导的时代。