模型准确率是什么？模型预测对了多少，以及它的局限

模型准确率（Model Accuracy），也叫模型精度或模型准确性，是衡量机器学习模型基于数据做出预测或决策的能力的指标。它是评估机器学习模型性能最常用的指标之一，可以用来比较不同模型的表现，或者评估某个特定的模型在给定任务上是否有效。

怎么计算

在分类任务中，准确率通常指模型预测正确的样本数占全部样本数的比例。比如，一个识别猫狗的模型，在 1000 张测试图片中正确识别了 920 张，它的准确率就是 92%。用二元分类的四种结果来表示，准确率等于真阳性数加真阴性数，除以全部样本数，也就是所有判断对了的情况，占全部情况的比例。准确率的优点是直观、容易理解和计算。

准确率的陷阱

准确率有一个很大的局限：在各个类别的样本数量很不均衡时，它会产生严重的误导。举个例子：一种罕见病在人群中的发病率只有 1%。一个“偷懒”的模型，不管看到什么病人，都直接判断为“没病”，它的准确率能达到 99%，看起来非常高。但这个模型毫无用处，因为它一个真正的病人都找不出来。类似的情况在欺诈检测、设备故障预测、垃圾信息识别等领域很常见：我们真正关心的那个类别往往只占很小的比例。

因此，在评估模型时，不能只看准确率，还需要结合其他指标：精确率，在模型判断为某类的样本中，有多少是真的属于这一类，衡量误报；召回率，在实际属于某类的样本中，有多少被模型找了出来，衡量漏报；F1 分数，精确率和召回率的调和平均；混淆矩阵，完整地列出各类别被正确和错误分类的情况；以及 ROC 曲线和 AUC。

在计算机视觉等任务中

对于不同的任务，“准确”有不同的衡量方式。图像分类中，除了常规的准确率（Top-1 准确率，也就是模型的第一个预测是否正确），还常用 Top-5 准确率，也就是正确答案是否出现在模型最有把握的前五个预测中。目标检测中，需要同时考虑类别是否正确、框的位置是否准确，常用平均精度均值（mAP）来衡量。图像分割中，常用交并比（IoU）衡量预测的区域与真实区域的重合程度。回归任务，比如预测房价，则不用准确率，而是用平均绝对误差、均方误差等衡量预测值与真实值之间的差距。

在大模型的评测中，很多基准测试也以准确率作为主要指标，比如答对了多少道题。此外，评估模型时，一定要使用模型在训练中没有见过的测试数据，否则得到的准确率会过于乐观。