期望损失是什么？模型在所有可能数据上的平均损失

期望损失（Expected Loss），也叫期望风险，是指一个模型在数据的真实分布下所能得到的平均损失。它衡量的是：如果把这个模型用在所有可能遇到的数据上，平均来说它会犯多大的错误。这是机器学习真正想要最小化的目标。

从损失函数说起

损失函数衡量的是模型对单个样本的预测有多差，比如预测房价时，预测值与真实值之差的平方。但我们关心的不是模型在某一个样本上的表现，而是它在将来遇到的所有数据上的整体表现。假设数据是从某个真实的概率分布中产生的，那么把损失函数在这个分布上求期望，也就是按照每种数据出现的概率对损失进行加权平均，就得到了期望损失。期望损失越小，说明模型在整体上越好。

问题：真实分布是未知的

期望损失虽然是我们真正想要的目标，但它没有办法直接计算，因为我们并不知道数据的真实分布是什么样的。我们手中只有有限的训练数据，它们是从这个未知的分布中抽取出来的一部分样本。

于是，在实际中我们退而求其次：用模型在训练数据上的平均损失来近似期望损失，这叫作经验风险或经验损失。根据大数定律，当训练样本的数量趋于无穷时，经验风险会趋近于期望风险。所以，用最小化经验风险来代替最小化期望风险，是一个自然的想法，这就是经验风险最小化原则。

经验风险与期望风险的差距

问题在于，训练数据总是有限的，经验风险和期望风险之间存在差距。当模型过于复杂、训练数据又不够多时，模型可能把经验风险降得非常低，比如在训练数据上几乎不犯错，但期望风险却很高，在新的数据上表现很差，这就是过拟合。经验风险与期望风险之间的差距，被称为泛化误差，研究如何控制这个差距，是统计学习理论的核心问题。

为此，统计学习理论提出了结构风险最小化原则：在经验风险的基础上，再加上一个衡量模型复杂度的正则化项，在拟合训练数据和保持模型简单之间取得平衡，从而让期望风险更小。Vapnik 等人发展的 VC 维理论，给出了期望风险的一个上界：它等于经验风险加上一个与模型复杂度和样本数量有关的项，模型越复杂、样本越少，这一项就越大。

在实践中如何估计期望损失

既然期望损失无法直接计算，在实践中就需要用没有参与训练的数据来估计它：把一部分数据留作测试集，模型在测试集上的平均损失，就是对期望损失的一个无偏估计，前提是测试集与将来实际遇到的数据来自相同的分布。交叉验证则可以更充分地利用有限的数据，给出更稳定的估计。

在决策理论中

在统计决策理论中，期望损失也被用来做出最优的决策：对于每一种可能的决策，计算它在各种可能情况下的损失按概率加权的平均值，选择期望损失最小的那个决策。比如在医疗诊断中，误诊和漏诊的代价不同，就可以通过最小化期望损失来确定最合适的判定阈值。贝叶斯决策理论正是建立在这一思想之上的。