正则化是什么？给模型加约束，防止它学得太“死”

正则化（Regularization）是机器学习中用来防止模型过拟合、提高模型在新数据上表现的一大类技术的统称。它的核心思想是：在让模型拟合训练数据的同时，对模型加以一定的约束，不让它变得过于复杂，以免它把训练数据中的噪声和偶然的规律也“记”下来。

为什么需要正则化

一个足够复杂的模型，几乎总能把训练数据拟合得非常好，甚至做到训练误差为零。但这往往意味着它不仅学到了数据中真正的规律，还学到了训练数据中特有的噪声和细节，换一批新的数据，表现就会明显下降，这就是过拟合。正则化通过给模型施加约束，在“拟合训练数据”和“保持模型简单”之间取得平衡，体现了“如无必要，勿增实体”的奥卡姆剃刀原则。从统计学习理论的角度看，它对应的是结构风险最小化：最小化的目标不是单纯的训练误差，而是训练误差加上一个衡量模型复杂度的惩罚项。

参数范数惩罚

最经典的正则化方式是在损失函数中加入一个关于模型参数大小的惩罚项，再乘以一个系数来控制惩罚的强度。L2 正则化：惩罚所有参数的平方和。它让参数整体变得较小但通常不为零，使模型更加平滑、对输入的微小变化不那么敏感。在线性回归中，加入 L2 正则化就是岭回归，由 Arthur Hoerl 和 Robert Kennard 在 1970 年提出；在神经网络中，它常被称为权重衰减。L1 正则化：惩罚所有参数的绝对值之和。它会让很多参数恰好变成零，得到一个稀疏的模型，相当于自动地进行了特征选择。在线性回归中，这就是 Robert Tibshirani 在 1996 年提出的 Lasso 回归。弹性网络：把 L1 和 L2 正则化结合起来，兼顾稀疏性和稳定性，适合特征很多且彼此相关的情况。从贝叶斯的角度看，L2 正则化相当于假设参数服从以零为中心的正态分布的先验，L1 正则化相当于假设参数服从拉普拉斯分布的先验，加了正则化的训练就等价于最大后验估计。

深度学习中的正则化

Dropout：由杰弗里·辛顿的团队在 2012 年前后提出，在训练时每次随机地让一部分神经元暂时“失活”，输出为零，迫使网络不能过度依赖某几个特定的神经元，学到更加鲁棒的特征。它可以被理解为同时训练了大量共享参数的子网络，并在预测时对它们进行平均。早停：在训练过程中持续地观察模型在验证集上的表现，当验证误差不再下降甚至开始上升时就停止训练，防止模型在训练数据上“学过头”。数据增强：通过对训练数据进行翻转、裁剪、加噪声等变换来扩充数据，让模型见识更多的变化，是一种通过数据实现的正则化。其他方法：批归一化在一定程度上具有正则化的作用；标签平滑把“百分之百属于某一类”的硬标签稍微抹平，防止模型过于自信；在决策树中，剪枝和限制树的深度也是一种正则化。

如何调节正则化的强度

正则化的强度是一个需要调节的超参数：太弱，模型仍然会过拟合；太强，模型受到过多的限制，连训练数据中真正的规律都学不好，变成欠拟合。通常的做法是在验证集上或通过交叉验证，尝试不同的强度，选择效果最好的那一个。值得一提的是，在现代的深度学习中，研究者发现优化算法本身，比如随机梯度下降，也会带来一种“隐式正则化”的效果，这被认为是参数量极大的神经网络仍然能够很好地泛化的原因之一。