误差-分歧分解是什么？集成为什么要“好而不同”的数学说明

误差-分歧分解（Error-ambiguity Decomposition）是集成学习中的一个重要理论结论，由 Anders Krogh 和 Jesper Vedelsby 在 1995 年提出。它用一个简洁的等式，精确地说明了集成模型的误差与各个成员的误差以及成员之间的差异之间的关系，为集成学习中“个体学习器要好而不同”的原则提供了数学上的依据。

问题的设定

考虑一个回归问题，用多个个体学习器组成一个集成，集成的预测等于各个个体学习器预测的加权平均，权重都是非负的，并且加起来等于 1。对于某个样本，可以定义两个量：个体学习器的误差，即它的预测与真实值之差的平方；个体学习器的“分歧”，即它的预测与整个集成的预测之差的平方，衡量这个学习器与集体意见相差多远。

分解的结论

Krogh 和 Vedelsby 证明了：集成的平方误差，正好等于各个个体学习器误差的加权平均，减去各个个体学习器分歧的加权平均。这个等式对每一个样本都成立，在所有样本上取期望之后同样成立。也就是说，集成的误差等于“个体平均误差”减去“个体平均分歧”。

它告诉我们什么

集成不会比个体的平均更差：由于分歧总是非负的，集成的误差一定不超过个体学习器的平均误差。只要个体之间有差异，集成就严格地比平均水平更好。个体越准确越好：在分歧不变的情况下，个体的平均误差越小，集成的误差越小。个体之间差异越大越好：在个体误差不变的情况下，个体之间的分歧越大，集成的误差越小。这就是“好而不同”的含义：每个成员都要有一定的准确性，彼此之间又要有足够的差异。如果所有成员都完全一样，分歧为零，集成的误差就等于单个成员的误差，集成毫无意义。

为什么不能直接用它来优化

看起来，只要直接最小化“平均误差减平均分歧”就能得到最好的集成。但周志华《机器学习》指出，这个分解只是对回归问题在平方损失下推导出来的，难以直接推广到分类问题；而且两个量之间并不独立：一味地追求分歧，会让个体学习器的预测偏离真实值，个体误差随之上升。在实际中，准确性和多样性之间往往存在矛盾，需要权衡，而不是单纯地最大化某一个。

相关的理论

误差-分歧分解与偏差-方差-协方差分解有着密切的联系：后者把集成的误差分解为平均偏差、平均方差和成员之间的平均协方差，其中协方差项反映了成员之间误差的相关性，成员的误差越不相关，集成越好。基于这些理论，研究者提出了负相关学习等方法，在训练中显式地鼓励成员之间的多样性；也提出了各种度量多样性的指标，比如不合度量、相关系数、Q 统计量、Kappa 统计量等，用来分析和指导集成的构建。如何定义和度量分类问题中的多样性，至今仍是集成学习研究中的一个开放问题。