深度学习是什么？用多层神经网络从数据中自动学习

深度学习（Deep Learning）是机器学习的一个分支，它使用具有多个层次的人工神经网络，从大量的数据中自动地学习。“深度”指的是神经网络中有很多层。如今的图像识别、语音识别、机器翻译、大语言模型和 AI 绘画，背后的核心技术都是深度学习。

与传统机器学习的区别

传统的机器学习方法通常需要人工设计特征：比如要识别图片中的猫，研究者需要先想办法从图片中提取出边缘、纹理、颜色等特征，再把这些特征交给分类器。特征设计得好不好，很大程度上决定了效果，而且需要大量的专业知识和经验。

深度学习的突破在于，它能够从原始数据中自动地学习特征，实现“端到端”的学习：直接把图片的像素输入网络，网络自己就能学会提取有用的特征。而且它学到的特征是层次化的：在图像识别的网络中，前面的层学会识别简单的边缘和颜色块，中间的层把它们组合成纹理和形状，再往后的层识别出眼睛、耳朵这样的部件，最后的层识别出完整的物体。每一层都在前一层的基础上构建更抽象的表示。

为什么在 2012 年前后爆发

神经网络的想法早在几十年前就有了，深度学习之所以在 2012 年前后突然爆发，是三个条件同时具备的结果。大数据：互联网带来了海量的数据，比如李飞飞团队建立的 ImageNet 数据集包含了上千万张标注好的图片。算力：图形处理器（GPU）擅长大规模的并行计算，非常适合训练神经网络，让训练速度提高了几十倍甚至更多。算法的改进：比如 ReLU 激活函数、Dropout、批归一化、残差连接等技术，解决了深层网络难以训练的问题。2012 年，杰弗里·辛顿的学生亚历克斯·克里热夫斯基等人用深度卷积神经网络 AlexNet 赢得了 ImageNet 图像识别比赛，错误率比第二名低了十多个百分点，引起了轰动。杰弗里·辛顿、约书亚·本吉奥和杨立昆三人因为在深度学习领域的贡献，获得了 2018 年的图灵奖。

主要的网络类型

卷积神经网络（CNN），擅长处理图像和视频；循环神经网络（RNN）和长短期记忆网络（LSTM），用于处理文本、语音等序列数据；Transformer，基于注意力机制，如今是大语言模型以及很多视觉和语音模型的基础；以及生成对抗网络、扩散模型等生成式模型。

局限

深度学习通常需要大量的数据和算力，训练成本很高；模型内部的决策过程难以解释，常被称为“黑箱”；可能学到数据中的偏见；对输入的微小扰动有时会很敏感。尽管如此，它仍然是当今人工智能最核心的技术。