LeNet 是什么？最早成功应用的卷积神经网络之一

LeNet 是最早成功应用于实际的卷积神经网络之一，最著名的版本是 LeNet-5。它由 Yann LeCun 和他在贝尔实验室的团队开发，专门用于手写数字识别。LeCun 等人在 1998 年发表的论文《基于梯度学习的文档识别》中详细介绍了 LeNet-5 的网络结构和训练过程，而 LeNet 系列的研究从 1989 年就开始了。LeCun 后来因在深度学习方面的贡献获得了 2018 年的图灵奖。

网络结构

LeNet-5 的输入是 32×32 像素的灰度图片，一共有 7 层（不计输入层），交替使用卷积层和池化层，最后接全连接层输出分类结果。大致的流程是：第一个卷积层用 6 个 5×5 的卷积核提取图像的局部特征，比如笔画的边缘和方向；然后是一个池化层（当时称为下采样层），把特征图缩小一半，减少计算量，也让特征对微小的位移不那么敏感；接着又是一个卷积层和一个池化层，提取更复杂、更抽象的特征；最后通过几个全连接层，输出 0 到 9 这 10 个数字的识别结果。整个网络大约有 6 万个参数。

它奠定了什么

LeNet-5 是深度学习和卷积神经网络领域的开创性工作，它奠定了现代卷积网络中的许多关键概念：用卷积核提取局部特征，同一个卷积核在整张图像上共享参数，大大减少了参数量；用池化逐步降低分辨率、扩大感受野；通过层层堆叠，从简单的特征组合出复杂的特征；以及用反向传播算法端到端地训练整个网络，而不是人工设计特征。今天的卷积神经网络，无论多么复杂，基本结构都可以追溯到 LeNet。

实际应用

LeNet 不只是一个学术成果，它在当时就得到了实际应用：上世纪 90 年代末，美国的银行用基于 LeNet 的系统自动读取支票上的手写数字，一度处理了美国相当比例的支票。同时，LeCun 等人整理发布的 MNIST 手写数字数据集，成为此后几十年机器学习领域最经典的入门数据集之一。

受限于当时的计算能力和数据规模，卷积神经网络此后沉寂了十几年，直到 2012 年 AlexNet 借助 GPU 和大规模数据让它重新焕发光彩。AlexNet 的结构在很大程度上可以看作一个放大、加深的 LeNet。