偏差-方差困境是什么？降低一种误差往往会抬高另一种

偏差-方差困境（Bias-Variance Dilemma）是机器学习中的一个经典问题：一般来说，偏差和方差之间存在此消彼长的冲突，想要降低其中一个，往往会让另一个升高，很难同时把两者都降到很低。“困境”这个说法来自 Stuart Geman、Elie Bienenstock 和 René Doursat 在 1992 年发表的论文《神经网络与偏差/方差困境》。本站另有“偏差-方差权衡”“偏差-方差分解”词条，这里着重说明这一矛盾在训练过程中是如何表现的。

两种误差的来源

偏差描述的是模型的预测平均来说离真实值有多远，它来自模型本身的拟合能力不足：如果模型太简单，比如用一条直线去拟合弯曲的关系，无论有多少数据，都会系统性地偏离真相。方差描述的是换一份训练数据之后，模型的预测会变化多大，它来自模型对训练数据中偶然因素的敏感：如果模型太灵活，它会连训练数据中的噪声也一并学进去，换一批数据就学出一个很不一样的模型。

训练过程中的此消彼长

周志华《机器学习》对这一困境做了直观的描述：给定一个学习任务，假设我们能控制学习算法的训练程度。在训练不足时，模型的拟合能力不够强，训练数据中的扰动不足以让模型产生显著的变化，此时偏差主导了泛化误差；随着训练程度的加深，模型的拟合能力逐渐增强，训练数据中的扰动逐渐能被模型学到，方差逐渐主导了泛化误差；在训练程度充足之后，模型的拟合能力已经非常强，训练数据发生的轻微扰动都会导致模型发生显著的变化，如果训练数据自身的、非全局性的特性被模型学到了，就会发生过拟合。

这里的“训练程度”可以对应许多具体的“旋钮”：决策树的深度、神经网络的规模和训练轮数、多项式的次数、K 近邻中的 K（K 越小越灵活）、正则化的强度（越弱越灵活）。转动这些旋钮让模型更灵活，偏差下降、方差上升；反之亦然。泛化误差随之呈现先降后升的 U 形，最佳的设置位于中间。

如何应对这一困境

在实践中，通常用验证集或交叉验证来寻找那个中间的最佳点，比如通过早停找到最合适的训练轮数，通过网格搜索找到合适的正则化强度。此外，有一些方法能在一定程度上“绕开”困境：增加训练数据可以在不增加偏差的情况下降低方差，这是最有效的办法；集成学习中，Bagging 通过平均多个高方差的模型来降低方差，Boosting 通过组合多个高偏差的弱模型来降低偏差；引入与问题相符的归纳偏好，比如卷积神经网络对图像的局部性假设，能在不增加方差的前提下降低偏差。

深度学习带来的新认识

近年来研究者发现，对于参数量极大的现代神经网络，经典的 U 形曲线并不总是成立。Mikhail Belkin 等人在 2019 年描述了“双下降”现象：当模型的规模增大到恰好能完全拟合训练数据的临界点附近时，测试误差会达到一个高峰；而继续增大模型的规模，测试误差反而会再次下降，甚至低于 U 形曲线的最低点。这说明在超大模型的情况下，偏差-方差困境需要新的理论来补充，比如考虑优化算法本身带来的隐式正则化。不过对于大多数传统的机器学习模型，偏差-方差困境依然是选择模型复杂度的重要指导。