校准曲线是什么？检验模型说的“概率”靠不靠谱

校准曲线（Calibration Curve），也叫可靠性图，是机器学习和预测建模中用来检验分类模型预测概率是否可靠的工具。它帮助我们理解并微调模型给出的概率：一个经过良好校准的模型，对于根据这些概率做出明智的决策至关重要。

什么是“校准”

很多分类模型不只给出一个判断结果，还会给出一个概率，比如“这封邮件有 80% 的可能是垃圾邮件”“这位病人有 30% 的可能患病”“明天有 70% 的可能下雨”。问题是：这些概率数字本身准不准？

“校准良好”的意思是：模型给出的概率，应该和事情实际发生的频率相符。比如，在所有模型说“有 70% 的可能下雨”的日子里，实际下雨的日子应该大约占 70%；在所有模型给出“90% 是垃圾邮件”的邮件中，实际上大约有 90% 真的是垃圾邮件。如果模型说 90%，实际却只有 60% 是对的，就说明模型“过于自信”了；反过来，如果模型说 60%，实际却有 90% 是对的，就是“不够自信”。

需要注意，准确率高不等于校准好：一个模型可能判断得很准，但给出的概率数值却不能真实反映它的把握程度。

怎么画校准曲线

构建校准曲线的方法是：把模型对测试样本给出的预测概率，按照数值大小分成若干个区间，比如 0 到 0.1、0.1 到 0.2……0.9 到 1；对于每个区间，计算两个数：这个区间内样本的平均预测概率，以及这些样本中实际为阳性的比例；然后以平均预测概率为横轴、实际比例为纵轴，把各个区间的点画出来连成曲线。

理想的、完美校准的模型，曲线应该正好落在从左下角到右上角的对角线上，也就是预测概率等于实际频率。曲线在对角线下方，说明模型过于自信，预测的概率偏高；曲线在对角线上方，说明模型不够自信，预测的概率偏低。常用的量化指标有期望校准误差（ECE）和布里尔分数。

为什么校准很重要

在很多应用中，人们要根据模型给出的概率来做决策，概率本身的准确性就很关键。医疗诊断：医生需要根据患病的概率来决定是否做进一步的检查；金融风控：银行根据违约概率来决定是否放贷、定多高的利率；天气预报、保险定价；以及自动驾驶等需要知道模型“有多确定”的安全攸关场景，在模型不确定时应该把决策交给人。

如何改进校准

研究发现，现代的深度神经网络往往存在过于自信的问题。常用的校准方法有：温度缩放，用一个参数统一调整模型输出的“锐利程度”，简单而有效；普拉特缩放，用一个逻辑回归对模型的输出进行变换；保序回归，一种更灵活的非参数方法。这些方法通常在一个单独的校准数据集上进行，不改变模型对类别的判断，只调整给出的概率数值。对于大语言模型，研究其回答的置信度是否可靠，也是减少幻觉、提升可信度的重要方向。