性能度量是什么？用什么指标来评判模型好坏

性能度量（Performance Measure）是用来衡量一个机器学习模型好坏的评价标准。在训练出一个模型之后，需要用某种指标来评估它在新数据上的表现，也就是它的泛化能力；在比较不同的模型时，也需要统一的标准。周志华《机器学习》指出，性能度量反映了任务的需求，使用不同的性能度量往往会导致不同的评判结果，模型的“好坏”是相对的，不仅取决于算法和数据，还取决于任务的需求。

回归任务的性能度量

回归任务预测的是连续的数值，常用的度量有：均方误差，预测值与真实值之差的平方的平均，对大的误差惩罚更重；均方根误差，均方误差的平方根，单位与原始数据一致，更容易理解；平均绝对误差，误差绝对值的平均，对异常值不那么敏感；平均绝对百分比误差，用误差占真实值的百分比来衡量，便于在不同尺度的数据之间比较，但真实值接近零时不适用；决定系数，表示模型解释了数据中多大比例的变化，越接近 1 越好。

分类任务的性能度量

错误率与准确率：分错的样本和分对的样本分别占的比例，最直观，但在类别不平衡时会产生误导。查准率、查全率与 F1：查准率衡量模型判为正类的样本中有多少是真正的正类，查全率衡量所有真正的正类中有多少被找了出来，两者往往此消彼长；F1 分数是两者的调和平均，F-beta 分数可以调整对两者的重视程度。P-R 曲线：把不同阈值下的查准率和查全率画成曲线，曲线下的面积就是平均精度。ROC 曲线与 AUC：以假正例率为横轴、真正例率为纵轴画出的曲线，曲线下的面积 AUC 衡量模型把正类排在反类前面的能力，与阈值无关。代价敏感错误率与代价曲线：当不同类型错误的代价不同时，按照代价对错误进行加权，代价曲线可以在不同的代价比例下比较模型的期望总体代价。对数损失：衡量模型给出的概率是否准确，对过于自信的错误惩罚很重；校准误差衡量预测概率与实际频率是否一致。在多分类问题中，常对每个类别分别计算查准率、查全率等，再用宏平均或微平均汇总；在类别很多的图像分类中，还常用前五准确率。

其他任务的性能度量

排序和推荐：常用的有前 K 个结果中的精确率和召回率、平均精度均值，以及考虑排序位置的 NDCG，排在越前面的相关结果贡献越大。目标检测：用交并比判断检测是否正确，再计算平均精度均值。聚类：有参考答案时用调整兰德指数、归一化互信息等外部指标，没有参考答案时用轮廓系数等内部指标。文本生成：机器翻译常用 BLEU，摘要常用 ROUGE，但这类指标只看词语的重合，与人的判断并不完全一致，因此常常还需要人工评价，或者用大语言模型来评分。大语言模型的评估则通常使用一系列考察知识、推理、编程等能力的基准测试。

如何选择合适的性能度量

选择性能度量时，最重要的是让它与任务的真实目标保持一致：在疾病筛查中，漏诊的代价很高，应当重视查全率；在推荐系统中，用户只看排在前面的几个结果，应当重视头部的准确程度；在类别不平衡时，不能只看准确率。离线的性能度量也不一定完全反映实际的业务效果，比如推荐模型的 AUC 提高了，用户的点击率和满意度却不一定提高，最终往往还需要通过线上的 A/B 测试来验证。此外，性能度量是在有限的测试数据上计算出来的，本身带有随机的波动，比较不同的模型时，还需要借助假设检验等方法判断差异是否显著。