平衡点 BEP 是什么?查准率等于查全率时的取值
平衡点(Break-Even Point,BEP)是评价分类模型和信息检索系统的一个指标,指的是在精确率-召回率曲线上,查准率恰好等于查全率的那个点所对应的数值。
它从哪里来
查准率衡量模型判为正例的样本中有多少是真正例,查全率衡量所有真正例中有多少被找了出来。这两者往往此消彼长:把判定阈值调高,查准率上升而查全率下降;调低则相反。把不同阈值下的查准率和查全率画出来,就得到了 P-R 曲线,它以查全率为横轴、查准率为纵轴。
比较两个模型时,如果一个模型的 P-R 曲线把另一个完全“包住”,前者显然更好。但两条曲线常常会交叉,这时就很难直接比较。人们希望用一个数字来概括一条曲线的好坏,平衡点就是一种简单的做法:找出曲线上查准率等于查全率的那个点,也就是曲线与从原点出发的对角线的交点,用这个点的数值来代表模型的性能。平衡点越大,说明模型能在查准率和查全率同时较高的情况下工作,性能越好。
一个例子
假设模型 A 的 P-R 曲线与对角线交于 0.8 处,也就是在某个阈值下,它的查准率和查全率都等于 0.8;模型 B 的曲线交于 0.72 处。那么按照平衡点的标准,模型 A 优于模型 B。实际计算中,由于测试样本有限,查准率和查全率不一定恰好相等,通常取最接近的那个阈值,或者在两个相邻点之间插值得到。
它的使用和局限
平衡点在 20 世纪 90 年代的文本分类和信息检索研究中被广泛使用,比如在 Reuters 新闻分类等基准测试中,很多论文都报告了各类别的平衡点。周志华《机器学习》在介绍 P-R 曲线时,也把它作为比较学习器性能的一种度量。
但平衡点过于简化。它只反映了曲线上一个特定点的情况,而不同的应用关心的是曲线上不同的区域:有的应用更看重查准率,比如推荐系统;有的更看重查全率,比如疾病筛查。两个模型可能平衡点相同,但在其他区域的表现相差很大。而且这个“查准率等于查全率”的点,不一定是实际应用中会采用的工作点。因此,后来人们更常使用其他的综合指标:F1 分数,也就是查准率与查全率的调和平均,可以在实际采用的阈值下计算;F-beta 分数,可以根据需要调整对查准率和查全率的重视程度;以及平均精度(AP),即 P-R 曲线下的面积,它综合了整条曲线上的表现,在目标检测和信息检索中被广泛使用。