贝叶斯判定准则是什么？对每个样本选条件风险最小的类别

贝叶斯判定准则（Bayes Decision Rule）是贝叶斯决策论中做出分类决策的核心规则：为了让总体的期望损失最小，只需要在每一个样本上，都选择那个能使条件风险最小的类别。按照这个准则构造的分类器，就是贝叶斯最优分类器。

从总体风险到逐个样本

假设有一个分类规则，它对每一个可能的样本都会给出一个类别。这个规则的总体风险，是它在所有样本上的条件风险按样本出现的概率加权的平均。要让总体风险最小，看起来需要在所有可能的分类规则中寻找。但贝叶斯判定准则指出了一个简单的事实：总体风险是各个样本上条件风险的加权求和，只要在每一个样本上都做出条件风险最小的选择，加起来的总和自然也就是最小的。因此，复杂的全局优化问题，被化简成了对每个样本分别做出的局部选择。

条件风险

把样本 x 判为类别 c 的条件风险，等于对所有可能的真实类别，把“真实类别是 j 却被判为 c 的损失”乘以“样本属于 j 的后验概率”，再全部加起来。也就是说，它是这个决策在当前不确定性下的平均损失。贝叶斯判定准则就是：计算把样本判为每一个类别时的条件风险，选其中最小的那个。

0-1 损失下的形式

当判对的损失为 0、判错的损失都为 1 时，把样本判为类别 c 的条件风险，就等于 1 减去样本属于 c 的后验概率。最小化它，就是选择后验概率最大的类别。根据贝叶斯定理，后验概率正比于类先验概率乘以类条件概率，而分母对所有类别都一样，所以准则又可以写成：选择“先验概率乘以类条件概率”最大的类别。在实际计算中，常常对它取对数，把乘法变成加法，这样得到的函数叫作判别函数。比如当各类的类条件概率都是正态分布且协方差相同时，判别函数是特征的线性函数，分界面是一个超平面，这就得到了线性判别分析；当协方差不同时，分界面是二次曲面。

二分类时的阈值形式

对于二分类，贝叶斯判定准则可以写成似然比的形式：计算两类的类条件概率之比，如果它大于某个阈值，就判为第一类，否则判为第二类。这个阈值由两类的先验概率之比和两种错误的损失之比共同决定。直观地说：如果第一类本身更常见，或者把第一类误判为第二类的代价更大，阈值就会降低，模型就更倾向于判为第一类。这为在实际中根据代价调整判定阈值提供了理论依据，也就是“再缩放”方法的来源。

它的意义

贝叶斯判定准则在理论上给出了分类的最优做法，但前提是知道真实的后验概率和损失。在机器学习中，我们通过模型来估计后验概率，再把估计值代入这个准则来做决策。因此，模型的概率估计越准确、校准得越好，按照准则做出的决策就越接近最优。它也提醒我们：分类决策是“概率估计”和“代价权衡”两件事的结合，不能只看模型给出的最大概率。