人类反馈强化学习 RLHF 是什么？让大模型学会人类喜欢的回答

基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）是一种利用人类的评价来训练 AI 模型的方法。它让模型通过学习人类的偏好，生成更符合人类期望的输出。它是把一个只会“接着往下写”的大语言模型，变成一个有用、听话、安全的对话助手的关键技术，ChatGPT 的成功在很大程度上就得益于它。

为什么需要 RLHF

大语言模型在海量的文本上进行预训练，学会了预测下一个词，掌握了丰富的知识和语言能力。但这样训练出来的模型并不一定能很好地帮助用户：它可能不理解用户的真实意图，答非所问；可能编造事实；可能生成有害或带有偏见的内容；因为它学习的目标只是“写出像网上文本一样的内容”，而不是“给出对用户有帮助的回答”。什么是“好的回答”很难用一个公式来定义，但人类很容易判断两个回答中哪一个更好。RLHF 就是利用人的这种判断能力来引导模型。

三个步骤

OpenAI 在 2022 年发表的 InstructGPT 论文中，系统地描述了 RLHF 的流程。第一步，监督微调：请标注人员针对各种问题写出高质量的示范回答，用这些数据对预训练模型进行微调，让它初步学会按照指令回答问题。第二步，训练奖励模型：针对同一个问题，让模型生成多个不同的回答，请标注人员对这些回答进行比较和排序。然后用这些排序数据训练一个奖励模型，让它学会像人一样判断回答的好坏，给出分数。第三步，强化学习优化：用奖励模型给模型生成的回答打分，再用强化学习算法，通常是 PPO，优化语言模型，让它生成能获得更高分数的回答。为了防止模型为了追求高分而变得古怪，还会限制它不要偏离原来的模型太远。

InstructGPT 的研究显示了 RLHF 的效果：经过 RLHF 训练的 13 亿参数的模型，其回答在人类评价中比 1750 亿参数的原始 GPT-3 更受欢迎。

发展历程

用人类的偏好来训练强化学习智能体的思想，可以追溯到 OpenAI 和 DeepMind 的研究者在 2017 年发表的论文，他们用人类的比较反馈教会了模拟机器人做后空翻等动作。此后，这一方法被用于训练文本摘要模型，再到 InstructGPT 和 ChatGPT，成为大语言模型对齐的标准流程。

局限和替代方法

RLHF 需要大量的人工标注，成本很高；标注人员的偏好可能不一致，也可能带有偏见；模型可能学会“讨好”奖励模型，出现奖励作弊，比如回答变得冗长、过度迎合用户；强化学习的训练过程也比较复杂、不够稳定。为此，研究者提出了多种改进和替代的方法：用 AI 来代替人类提供反馈的 RLAIF；跳过奖励模型、直接用偏好数据优化模型的 DPO（直接偏好优化），因为简单稳定而被广泛采用；以及在数学、编程等可以自动验证答案的任务上，直接用规则判断对错作为奖励的强化学习，这被用于训练具有深度推理能力的模型。