第一类错误是什么?明明没有却说有的“误报”
第一类错误(Type I Error),在机器学习中也称为假阳性或误报(False Positive,FP),是指模型错误地预测某个条件或属性存在,而实际上它并不存在。例如,模型可能把一封合法的电子邮件错误地分类为垃圾邮件;把一笔正常的交易误判为欺诈;把一个健康的人诊断为患病。这个概念来自统计学中的假设检验,在统计学中,它指的是错误地拒绝了一个实际上正确的原假设。
误报的代价
第一类错误在机器学习应用中同样可能是严重的问题,具体后果取决于应用场景。垃圾邮件过滤:把重要的工作邮件、录用通知或账单提醒误判为垃圾邮件,用户可能因此错过关键的信息。金融风控:把客户正常的消费误判为欺诈,导致银行卡被冻结、交易失败,影响用户体验,甚至导致客户流失。医疗诊断:误诊会让健康的人承受不必要的心理压力,接受额外的、可能有风险的检查和治疗,也浪费医疗资源。内容审核:把正常的内容误判为违规而删除或限流,会损害用户的表达,引起不满。司法和安防:人脸识别等系统的误报,可能导致无辜的人被错误地怀疑。
和第二类错误的权衡
第一类错误和第二类错误(漏报)通常此消彼长。提高判定的门槛,让模型只在非常有把握时才判断为阳性,可以减少误报,但会增加漏报;降低门槛则相反。不同的场景对两种错误的容忍度不同:在垃圾邮件过滤中,人们通常更不能容忍误报,把重要邮件当成垃圾邮件扔掉,比漏掉几封垃圾邮件更糟糕;在癌症筛查中,则更不能容忍漏报。因此,在设计和调整模型时,需要根据业务的实际情况,在两种错误之间找到合适的平衡点。
如何衡量
衡量第一类错误的常用指标是精确率(Precision),也就是在模型判断为阳性的所有样本中,真正是阳性的比例:精确率越高,误报越少。另一个常用指标是假阳性率(FPR),也就是在所有实际为阴性的样本中,被错误地判断为阳性的比例。把假阳性率和真阳性率放在一起,在不同的判定阈值下画出的曲线,就是 ROC 曲线,它直观地展示了误报和漏报之间的权衡关系。在统计学的假设检验中,常用的显著性水平,比如 0.05,就是研究者愿意接受的犯第一类错误的最大概率。