贝叶斯最优分类器是什么？理论上不可能被超越的分类器

贝叶斯最优分类器（Bayes Optimal Classifier）是在完全知道数据真实概率分布的理想情况下，能够达到最低平均错误的分类器。它对每一个样本，都选择使期望损失最小的那个类别；在所有错误代价都相同时，就是选择后验概率最大的类别。在同样的问题上，任何其他的分类方法，平均来说都不可能比它做得更好。

它是怎么定义的

根据贝叶斯决策论，对于一个样本，把它判为某个类别的条件风险，等于在各种可能的真实类别下的损失按后验概率加权求和。贝叶斯最优分类器就是在每一个样本上都选择条件风险最小的类别。由于它在每个样本上都做出了最好的选择，整体的期望风险也就最小，这个最小的风险叫作贝叶斯风险，对应的错误率叫贝叶斯错误率。

为什么贝叶斯错误率通常不为零

即使是这个理论上最好的分类器，通常也会犯错。原因在于问题本身存在不可消除的不确定性：不同类别的样本，在特征上可能完全一样。比如仅凭身高来判断性别，身高 170 厘米的人中既有男性也有女性，无论用什么方法，只根据身高总会判错一部分人。贝叶斯错误率反映的就是这种由数据本身决定的难度，它对应于偏差-方差分解中的“噪声”部分。如果想进一步降低错误率，只能增加更有信息量的特征，而不是改进分类算法。

为什么在实际中造不出来

贝叶斯最优分类器需要知道每个样本属于各个类别的真实后验概率，这就需要知道数据真实的概率分布。但在现实中，我们只有有限的训练样本，并不知道真实的分布。所以贝叶斯最优分类器是一个理论上的概念，无法直接构造。各种机器学习算法，都可以看作是在用不同的方式，根据有限的数据去近似它。

它作为参照的价值

衡量算法的好坏：在人工合成的数据上，由于数据分布是我们自己设定的，可以计算出贝叶斯错误率，再看看各种算法离这个极限有多远。理论分析：很多学习理论的结论都以贝叶斯最优分类器为参照。比如对于 K 近邻中最简单的最近邻分类器，Thomas Cover 和 Peter Hart 在 1967 年证明：当训练样本无穷多时，它的错误率不超过贝叶斯错误率的两倍。这说明这样一个极其简单的方法，在数据充分时也有相当可靠的表现。一致性：如果一个学习算法在训练数据无限增多时，它的错误率会趋近于贝叶斯错误率，就称这个算法是“一致的”。理论上证明了很多常用的方法，在一定条件下都是一致的。

与另一种“贝叶斯最优分类器”的区别

需要注意，在一些教材中，比如 Tom Mitchell 的《机器学习》，“贝叶斯最优分类器”还有另一种含义：在给定训练数据和假设空间的情况下，不只选择一个最可能的假设，而是让所有假设按照它们的后验概率进行加权投票，这样得到的预测在平均意义上最优。这实际上就是贝叶斯模型平均的思想。两种含义的共同点在于“在已知概率下做出期望意义上最好的判断”，只是关注的层面不同。