过拟合是什么？模型把训练数据背得太熟，遇到新数据就失灵

过拟合（Overfitting）是机器学习中最常见、也最需要警惕的问题之一：模型在训练数据上表现得非常好，但在从未见过的新数据上表现却明显变差。原因是模型不仅学到了数据中真正有用的规律，还把训练数据中偶然的细节、甚至噪声也当成规律“记”了下来，而这些东西在新的数据上并不成立。

一个形象的比喻

过拟合就像一个只会死记硬背的学生：他把练习册上每一道题的答案都背得滚瓜烂熟，练习题做得全对，但并没有真正理解背后的原理。到了考试，题目稍微变一变，他就不会做了。而一个真正学懂了的学生，练习题可能偶尔做错一两道，但在考试中能灵活地运用知识，表现更好。机器学习追求的正是后者：不是在训练数据上做到完美，而是在新的数据上也能做出准确的预测，这种能力叫作泛化能力。

再举一个直观的例子：用一条曲线去拟合平面上的一些数据点，这些点大致排成一条直线，但带有一些随机的误差。一条简单的直线就能很好地描述它们的趋势；而一条非常复杂、弯弯曲曲的曲线，可以精确地穿过每一个点，在训练数据上的误差为零，但它的形状扭曲怪异，对于新的数据点，预测会非常离谱。这条复杂的曲线就是过拟合了。

怎么发现过拟合

最直接的方法是把数据分为训练集和验证集。模型只用训练集进行训练，然后分别在训练集和验证集上评估效果。如果训练集上的误差很低，而验证集上的误差高得多，就说明出现了过拟合。在训练过程中观察学习曲线也很有帮助：随着训练的进行，训练误差持续下降，而验证误差先下降后上升，开始上升的那个点就是过拟合开始的地方。

为什么会过拟合

模型过于复杂：参数太多、网络太深、决策树长得太深，模型的“记忆力”太强，足以记住训练数据中的每一个细节。训练数据太少：数据量不足以代表真实情况的多样性，模型容易把少量数据中的偶然特征当成普遍规律。数据中有噪声：比如标注错误的样本，模型也会努力去拟合它们。训练时间过长：在训练数据上反复地训练太多轮。

如何防止过拟合

获取更多的数据：这通常是最有效的方法，数据越多越多样，模型越难记住偶然的细节。数据增强：对现有的数据进行翻转、裁剪、加噪声等变换，人为地增加数据的多样性。正则化：在损失函数中加入对模型复杂度的惩罚，比如 L2 正则化，也叫权重衰减，限制权重变得过大；L1 正则化让部分权重变为零。Dropout：在训练神经网络时，每次随机地让一部分神经元暂时“休息”，防止网络过度依赖某些特定的神经元，由 Geoffrey Hinton 的团队在 2012 年前后提出。早停：在验证误差开始上升时就停止训练。简化模型：减少参数、降低网络深度、对决策树进行剪枝。集成学习：把多个模型的预测组合起来，比如随机森林。交叉验证：更可靠地评估模型的泛化能力，帮助选择合适的模型复杂度。

与欠拟合的关系

与过拟合相对的是欠拟合：模型太简单，连训练数据中的规律都没学好，在训练集和新数据上表现都不好。好的模型需要在两者之间找到平衡，这就是偏差-方差权衡所描述的问题。