校准是什么？让模型给出的概率与真实频率相符

在机器学习中，校准（Calibration）是指让分类模型输出的概率能够真实地反映事件发生的可能性。一个校准良好的模型，当它说“有 80% 的把握”时，在所有这类预测中，大约就有 80% 是对的。本站另有“校准曲线”词条介绍评估工具，这里重点介绍校准的方法和使用场景。

为什么准确不等于校准好

一个模型可以分类很准，但给出的概率并不可靠。比如一个模型在所有预测中都输出 99% 的置信度，即使它的准确率只有 85%，它也是严重“过于自信”的。反过来，朴素贝叶斯这类模型虽然排序能力不错，给出的概率却往往过于极端；支持向量机的原始输出只是到分界面的距离，根本不是概率；随机森林的概率则常常偏向中间，不够自信。研究还发现，现代的深度神经网络虽然准确率很高，却普遍存在过度自信的问题，Chuan Guo 等人在 2017 年的论文中系统地揭示了这一点，并指出更深、更宽的网络以及某些训练技巧会加剧这种现象。

哪些场合需要校准

当概率本身会被用来做决策时，校准就很重要：医疗诊断中根据患病概率决定是否进一步检查；信贷中根据违约概率定价；广告系统中根据点击概率计算出价；把多个模型的概率进行组合；在模型不确定时把任务转交给人工处理。如果只需要排序，比如只关心哪些样本风险最高，校准就不那么关键，因为大多数校准方法不改变排序。

常用的校准方法

这些方法通常作为“后处理”，在模型训练完成后，用一个单独的校准数据集来拟合，不改变原模型。普拉特缩放：由 John Platt 在 1999 年提出，用来把支持向量机的输出转换为概率。它用一个逻辑回归函数，对模型的原始分数做一次缩放和平移，只有两个参数，简单稳定，适合数据较少的情况，但只能修正 S 形的偏差。保序回归：一种非参数方法，只要求校准后的概率随原始分数单调不减，可以修正任意形状的偏差，更加灵活，但需要较多的校准数据，否则容易过拟合。温度缩放：普拉特缩放在多分类神经网络上的简化版本，把网络输出的 logits 统一除以一个“温度”参数再计算 softmax。温度大于 1 时概率变得更平缓、不那么自信，小于 1 时更尖锐。它只有一个参数，不改变各类别的排序，因此不影响准确率，被证明对深度网络非常有效。此外还有直方图分箱、贝塔校准等方法。在训练阶段，标签平滑、Mixup 等技巧也能在一定程度上改善校准。

使用时的注意事项

校准必须在一个独立的数据集上进行，不能用训练集，否则会继承训练集上的过度自信；也不能用最终的测试集，以免高估效果。实践中常用交叉验证的方式进行校准，scikit-learn 中就提供了相应的工具。另外，校准是针对特定数据分布的，当实际数据的分布发生变化时，原来校准好的模型可能又会变得不准，需要定期检查和重新校准。对于大语言模型，如何让它准确地表达自己对答案有多大把握，也是减少幻觉、提高可信度的一个研究方向。