阈值是什么？决定结果归属的那条分界值

阈值（Threshold）是指一个用来做判断的临界值：当某个量超过这个值时，得出一种结论或采取一种行动；没有超过时，得出另一种结论。“阈”的本义是门槛，阈值就像一道门槛，跨过它和没跨过它，结果截然不同。阈值在机器学习中无处不在，出现在许多不同的环节中。

分类的判定阈值

这是机器学习中最常见的阈值。很多分类模型并不直接给出类别，而是输出一个样本属于正类的概率或分数，然后与一个阈值比较：大于阈值判为正类，否则判为反类。默认的阈值通常是 0.5，但它往往需要根据实际情况进行调整。阈值的高低直接决定了查准率与查全率之间的权衡：阈值调高，只有模型很有把握的样本才被判为正类，误报减少、查准率提高，但会漏掉更多的正例、查全率下降；阈值调低则相反。在类别不平衡或两种错误的代价不同时，调整阈值是一种简单而有效的方法，叫作阈值移动。ROC 曲线和 P-R 曲线，就是把阈值从高到低连续地变化时，模型表现的变化轨迹。

神经元的激活阈值

在最早的人工神经元模型中，神经元把输入加权求和，如果总和超过一个阈值，就被激活输出 1，否则输出 0，这模仿了生物神经元“超过一定的刺激强度才发放脉冲”的特性。在现代的神经网络中，这个阈值通常被写成偏置的形式：偏置等于负的阈值，加权和加上偏置大于零时神经元被激活。ReLU 激活函数也可以看作有一个阈值：输入大于零时原样输出，小于零时输出为零。

决策树的切分点

决策树在处理连续的特征时，需要选择一个切分点，把样本分成“小于等于这个值”和“大于这个值”两部分，比如“年龄是否小于等于 30 岁”中的 30，就是一个阈值。算法会尝试许多个候选的阈值，选出让划分效果最好的那一个。

其他常见的阈值

异常检测：根据模型给出的异常分数，超过阈值的就发出警报。阈值设得太低会产生大量的误报，让处理人员疲于应付；设得太高又可能漏掉真正的异常。目标检测：使用置信度阈值过滤掉那些把握不大的检测框；在非极大值抑制中，使用交并比阈值去除重叠过多的重复框；在评估时，用交并比阈值判断一个检测框是否算作正确，比如 0.5。图像处理：图像二值化时，把亮度高于阈值的像素设为白色，低于阈值的设为黑色，日本学者大津展之在 1979 年提出的大津法可以自动地选择最佳的二值化阈值。训练中的阈值：梯度裁剪时，梯度的大小超过阈值就把它按比例缩小，防止梯度爆炸；早停时，验证误差在一定轮数内的改善小于某个阈值就停止训练。大语言模型生成文本时的 top-p 采样，也可以看作设定了一个累计概率的阈值，只从累计概率达到这个阈值的候选词中进行采样。

如何选择阈值

阈值的选择通常没有放之四海而皆准的标准，需要结合具体的业务目标来确定：明确各种错误的代价，确定更看重哪个指标，再在一个单独的验证集上尝试不同的阈值，选出最合适的那一个。在实际部署之后，还需要持续地监控效果，因为当数据的分布发生变化时，原来合适的阈值可能就不再适用了。