真相标注如何获得？Ground-truth 的来源与质量控制

真相（Ground-truth），也叫真实值或标准答案，是机器学习中用来训练模型和评估模型的参考答案。本站另有“真实值 Ground Truth”词条介绍它的含义和名称由来，这里重点讨论真相是怎么得到的，以及如何保证它的质量。

真相从哪里来

专家标注：由具备专业知识的人进行标注，比如由放射科医生在医学影像上标出病灶，由律师判断合同条款的类型。质量通常较高，但成本昂贵、速度慢。众包标注：把标注任务分发给大量的在线工作者，每个样本由多人标注，再通过多数投票等方式综合。成本较低、规模大，但每个人的水平和认真程度不一，需要严格的质量控制。2009 年建立的 ImageNet 图像数据集，就借助众包平台完成了上千万张图片的标注。测量和传感器数据：有些真相来自客观的测量，比如自动驾驶中用高精度激光雷达和定位设备记录的物体位置，气象预测中实际观测到的温度和降雨，医学中通过病理活检确认的诊断。事后观察到的结果：很多预测问题的真相要等事情发生之后才能知道，比如用户是否点击了广告、贷款是否违约、客户是否在三个月后流失。程序化和弱监督：用规则、关键词、已有的数据库或其他模型自动地生成标签，规模可以很大，但会包含较多的噪声。如今也越来越多地用大语言模型来辅助标注，再由人进行审核。

真相并不总是“真”

标注会出错：人难免疏忽、疲劳，研究发现很多著名的基准数据集中都存在一定比例的标签错误。标注者之间会有分歧：对于情感是正面还是中性、图像中物体的边界在哪里、一段话是否有冒犯性，不同的人可能有不同的判断。有些任务本身就没有唯一的答案，比如摘要和翻译。标注方式会引入偏差：标注规范的措辞、示例的选择、标注人员的背景，都可能系统性地影响标注结果；如果某些群体在数据中的标注更不准确，模型也可能对他们表现更差。真相会随时间变化：比如“这条新闻是否属实”可能随着事实的澄清而改变。

如何保证质量

制定清晰的标注规范：给出明确的定义、判断标准和大量的正反例子，对边界情况作出规定，并在标注过程中不断更新。培训和试标：让标注人员先在一小批数据上试标，与标准答案对照，合格后再正式标注。多人标注与一致性度量：让多个人独立地标注同一批样本，用 Cohen's Kappa、Fleiss' Kappa、Krippendorff's Alpha 等指标衡量他们之间的一致程度。一致性低，往往说明任务定义不清或者本身很难。对于有分歧的样本，可以交给专家仲裁。金标准抽检：在标注任务中混入一些已知答案的样本，检查每个标注人员的准确率，及时发现问题。错误检测与清洗：利用模型找出那些可能标错的样本，比如模型非常有把握、却与标签不一致的样本，再交给人工复核，置信学习和 Cleanlab 工具就是基于这一思路。

评测集的特别注意

用于评估模型的测试集，真相的质量尤其重要，否则会错误地评判模型的好坏。测试集要与训练集严格分开，防止数据泄露；对于大语言模型，还要警惕公开的测试题被混入了训练数据中，导致分数虚高，这叫数据污染。很多研究团队会对重要的评测集进行人工复核，比如 MMLU-Redux 就修正了 MMLU 中的错误题目。