贝叶斯决策论是什么？在不确定下按期望损失最小来做选择

贝叶斯决策论（Bayesian Decision Theory）是在不确定的情况下，基于概率做出最优决策的基本理论框架。对于分类问题，它告诉我们：在已知各种相关概率和不同错误的代价时，应该如何选择类别，才能使平均的损失最小。它是统计模式识别和机器学习中分类问题的理论基础。

基本的要素

贝叶斯决策论需要几个要素。类别的先验概率：在看到样本之前，每个类别出现的可能性，比如人群中某种疾病的患病率。类条件概率：在已知类别的前提下，观察到某种特征的概率，比如患病者检测呈阳性的概率。后验概率：根据贝叶斯定理，由先验概率和类条件概率计算出的，在观察到特征之后，样本属于各个类别的概率。损失：把属于某一类的样本错误地判为另一类时所付出的代价，可以写成一张损失表。

条件风险与贝叶斯判定准则

对于一个样本，如果我们决定把它判为某一类，那么可能的损失取决于它实际属于哪一类。把每种可能的真实类别下的损失，按照后验概率加权求和，就得到了这个决策的期望损失，叫作条件风险。贝叶斯决策论的核心规则是：对每个样本，选择条件风险最小的那个类别。这叫贝叶斯判定准则。按照这个准则做出的决策，能使在所有样本上的总体风险最小。这个最小的总体风险叫作贝叶斯风险，它是在给定问题下任何分类方法都无法超越的理论下限，1 减去贝叶斯风险就是理论上能达到的最好性能。

最常见的特例：选后验概率最大的类别

如果所有错误的代价都相同，判对损失为 0、判错损失为 1，即 0-1 损失，那么条件风险就等于“1 减去判为那一类的后验概率”。最小化条件风险，就等价于选择后验概率最大的那个类别。这就是最大后验概率准则，也是大多数分类器默认的做法。

一个代价不对等的例子

假设一位病人患某种重病的后验概率是 30%。如果按照最大后验概率准则，应该判为“健康”。但如果漏诊的代价是误诊的 10 倍：判为健康的条件风险是 30% 乘以 10，等于 3；判为患病的条件风险是 70% 乘以 1，等于 0.7。后者更小，所以应该判为“患病”，安排进一步检查。这说明在代价不对等时，最优的决策不一定是后验概率最大的那个类别，相当于调整了判定的阈值。

它对机器学习的意义

贝叶斯决策论说明，要做出最优的分类，关键在于获得准确的后验概率。但在现实中，后验概率往往无法直接得到，机器学习要做的，正是基于有限的训练样本，尽可能准确地估计出后验概率。由此产生了两种思路：判别式模型直接对后验概率建模，比如逻辑回归、神经网络；生成式模型先对联合分布或类条件概率建模，再用贝叶斯定理得到后验概率，比如朴素贝叶斯、高斯判别分析。贝叶斯决策论也提醒我们：模型输出的概率要校准良好，并且在使用时应根据实际的错误代价来选择阈值，而不是机械地使用 0.5。