经验风险是什么？模型在训练数据上的平均损失

经验风险（Empirical Risk）是指模型在训练数据集上的平均损失，也就是用损失函数计算出模型对每个训练样本的预测误差，再对所有训练样本求平均。它也常被称为训练误差或经验损失。“经验”的意思是：它是根据已有的样本，也就是我们的“经验”计算出来的。

为什么需要经验风险

训练机器学习模型，我们真正希望的是模型在所有可能遇到的数据上都表现好，也就是让期望风险最小。期望风险是损失函数在数据的真实分布上的平均值。但问题是，我们并不知道数据的真实分布是什么样的，所以期望风险根本无法直接计算。我们手中只有一个有限的训练数据集，它是从真实分布中抽取出来的一部分样本。于是，退而求其次，用模型在这些训练样本上的平均损失，也就是经验风险，来近似期望风险。根据统计学中的大数定律，当训练样本的数量足够多时，经验风险会趋近于期望风险。

经验风险最小化

基于这个想法，最直接的学习策略就是经验风险最小化：在所有候选的模型中，选择让经验风险最小的那个。这是绝大多数机器学习训练的基本原则。实际上，我们熟悉的很多方法都是经验风险最小化的具体形式：线性回归中最小化均方误差的最小二乘法；当损失函数是对数损失、模型是条件概率分布时，经验风险最小化就等价于极大似然估计，比如逻辑回归和神经网络分类器最小化交叉熵；深度学习中用梯度下降不断降低训练集上的损失。

经验风险最小化的问题

当训练样本足够多时，经验风险最小化往往能取得很好的效果。但当样本数量有限、而模型又足够复杂时，就会出现问题：一个足够灵活的模型几乎总能把经验风险降得非常低，甚至降到零，比如一棵不加限制的决策树能把每个训练样本都完美地分类。但这可能只是因为模型把训练数据，包括其中的噪声，都“背”了下来，在新的数据上反而表现很差，这就是过拟合。也就是说，经验风险很低，并不能保证期望风险也低，两者之间的差距被称为泛化误差。

如何改进：结构风险最小化

为了解决这个问题，统计学习理论提出了结构风险最小化：在经验风险的基础上，加入一个衡量模型复杂度的正则化项，比如参数的 L2 范数，在“拟合训练数据”和“保持模型简单”之间取得平衡。岭回归、Lasso 回归、支持向量机、神经网络中的权重衰减都体现了这一思想。此外，在实践中还会用一个独立的验证集或交叉验证来估计模型的真实表现，监控是否出现了过拟合，并据此选择模型和超参数。

值得一提的是，现代的深度神经网络虽然参数量极大、往往能把训练误差降到接近零，却常常依然能够很好地泛化，这与经典理论的预测不太一致。如何理解这一现象，是当前机器学习理论研究的热点问题之一。