人工评估（Human Evaluation）是什么？

人工评估（Human Evaluation）是让真人阅读模型的输出，再打分、选优或排序，用人的判断衡量模型好坏的评估方式。它像美食比赛里的盲品评委：两盘菜端上来，评委不知道出自谁手，只说更喜欢哪一盘，票数一统计，名次就出来了。

它是怎么回事

大模型的很多输出没有标准答案。写道歉邮件、把一段话改口语，没法像选择题那样对答案，只能找人来看。常见做法有三种：绝对打分，评分者按量表给一条回答打分，Llama 2 论文用的是 7 分的李克特量表，评的是回答有没有用；成对比较，同一个问题让两个模型各答一次，评分者选更好的那个，可判平局，汇总成胜率；排序，一次看几条回答，从好到差排队，InstructGPT 的训练流程里就收集了标注员对输出的排序。

成对比较还能做成排行榜。Chatbot Arena 把大量两两对战的投票交给 Bradley-Terry 模型（一种 1952 年发表的成对比较统计方法），估出每个模型的强度，再换算成类似国际象棋 Elo 的分数，分差越大，预期胜率的差距越大。团队在 2023 年 12 月把最初的在线 Elo 换成了这个模型，理由是评分更稳定，还能算置信区间。

人的判断有噪音，所以规范的人工评估会让多人评同一条，再检查大家的一致程度。Llama 2 每条题目由三位标注员独立评分，用 Gwet 的 AC1/AC2 统计量衡量一致性，有用性任务上数值在 0.37 到 0.55 之间。论文自己也承认，人工评估天然主观，换一批题目或换一套评分说明，结果可能就不同。

从哪来的

让人给机器的输出打分，比大模型早得多。机器翻译领域长期请人评译文，2002 年 IBM 的 Papineni 等人提出 BLEU 时，摘要开头就说人工评估工作量大、花钱多，常常要几个月，于是设计了自动算分的办法，并拿它与人的判断是否吻合来证明有用。自动指标好不好使，最后要回头对人，这个套路后来一直在重演。

到了大模型时代，人工评估和训练绑到了一起。2022 年 OpenAI 的 Ouyang 等人发表 InstructGPT 论文，让标注员写示范、给输出排序，再做强化学习。评估同样靠人：在他们的提示词分布上，13 亿参数的 InstructGPT 输出，比 1750 亿参数的 GPT-3 更受标注员偏好；1750 亿参数的版本对 GPT-3 的偏好比例达到 85%（±3%）。

把它做成公开榜单的是 Chatbot Arena：用户提一个问题，拿到两个匿名模型的回答，投完票才揭晓身份。加州大学伯克利分校等机构的研究者在 2023 年推出它，2024 年的 ICML 论文提到当时已有 24 万多张票。

现在在哪用

落到工作流里，大致有三处。一是模型发布前后的验收：Llama 2 论文用约 4000 条有用性题目，每条三位评分者，拿 Llama 2-Chat 去比开源模型和 ChatGPT，70B 版本对 ChatGPT 的胜率是 36%，平局 31.5%，安全性也请人评。二是公开榜单，比如 Arena 这种长期运行的盲测投票。三是给自动评估当标尺：MT-Bench 论文让 GPT-4 当评审，再和 3000 张专家票、3000 张众包票对照，一致率超过 80%，与人和人之间的一致率相当。用人评校准一把便宜的尺子，日常迭代用尺子，关键节点再请人。

容易混的地方

先分清几个近亲。人工评估和人类反馈强化学习（RLHF）不一样：前者用人的判断去量模型，后者拿人的偏好数据去训练模型，InstructGPT 两样都做了。它和 MMLU 这类基准也不一样，基准有标准答案，机器自动判分，便宜好复现。“LLM 当评审”则是让模型替人打分，MT-Bench 论文列出了它的毛病：偏向排在前面的回答，偏向更长的回答，偏向自己生成的回答。

再说一个常见误解：真人打分就等于客观。Arena 团队 2024 年 8 月把回答长度、Markdown 标题数、加粗数、列表数作为变量放进回归，做了“风格控制”，排名确实有变动，其中长度是影响最大的风格因素。众包票和专家也有差距：普通用户与专家的一致率是 72% 到 83%，两位专家之间是 79.4% 到 89.8%，论文把这 5% 到 10% 的差距主要归因于普通用户看漏了事实错误。

对使用者来说，看榜单别只盯总分，我们 AI主线 的建议是先看风格控制后的排名，再看分差有没有超出置信区间；要是你的场景需要简短、结构化的输出，榜单偏爱的长回答反而可能是减分项。自己选型可以搭个小号人评：同一批真实题目，把候选模型的回答隐去名字、打乱顺序，请两三位懂业务的同事盲评，并记下分歧大的地方。人评又慢又贵，我们 AI主线 的建议是日常回归用自动指标或 LLM 评审，换模型、大改提示词时再抽一小批人评来校准。