标签错误是什么？训练数据里贴错的标签

标签错误（Label Errors）是指数据集中的样本被分配了不正确的标签。比如一张狗的照片被标成了“猫”，一条正面的评论被标成了“负面”，一张正常的医学影像被标成了“有病变”。发生标签错误的原因有很多，比如人工标注时的失误、对类别的错误理解，或者数据在处理过程中被损坏。

为什么会出现标签错误

人工标注的疏忽：标注员需要处理大量的数据，长时间重复的工作难免疲劳和分心，出现点错、看错的情况。类别定义模糊：很多时候类别之间的界限本身就不清楚，比如一张照片里既有猫又有狗该标什么，一条评论是“中性”还是“略微负面”，不同的标注员可能有不同的判断。标注员缺乏专业知识：一些专业领域的数据，比如医学影像、法律文书，需要专业知识才能准确标注。众包标注的质量参差：为了降低成本，很多数据集通过众包平台标注，标注员的水平和认真程度差别很大。自动标注的错误：用规则或模型自动生成的标签，本身就可能有错。

连著名数据集也不能幸免

2021 年，MIT 等机构的研究人员发表了一项研究，用一种叫“置信学习”的方法，系统地检查了十个广泛使用的机器学习基准数据集，包括 ImageNet、CIFAR、MNIST 以及一些文本和音频数据集，发现这些数据集的测试集中平均存在约 3.3% 的标签错误。比如在 ImageNet 的验证集中，就有不少明显标错的图片。研究还发现，这些错误会影响对模型的评判：在修正了标签错误之后，一些在原始测试集上排名较低、更简单的模型，反而表现得更好。

标签错误的影响

降低模型效果：模型从错误的标签中学习，会学到错误的规律，尤其是大型的神经网络，甚至能把这些错误的标签也“记住”。扭曲评测结果：如果测试集中有错误的标签，模型给出了正确的答案反而会被判错，导致对模型能力的评估不准确，甚至让人选错模型。

如何应对

提高标注质量：制定清晰的标注规范，培训标注员，让多个人独立标注同一份数据并取多数意见，设置质量检查环节。自动发现错误：利用模型来找出可能标错的样本，比如那些模型非常有把握、却与标签不符的样本，再交给人工复核，开源工具 Cleanlab 就是基于这一思路。采用对标签噪声更鲁棒的训练方法和损失函数。在大模型时代，大语言模型也被用来辅助检查和修正标注，数据质量被普遍认为和模型规模同样重要。