直接偏好优化 DPO 是什么？不用奖励模型也能让大模型对齐人类偏好

直接偏好优化（Direct Preference Optimization，DPO）是一种让大语言模型对齐人类偏好的微调方法，由斯坦福大学等机构的研究团队在 2023 年提出，论文标题是《直接偏好优化：你的语言模型其实暗中是一个奖励模型》，发表于 NeurIPS 2023。它因为简单有效，迅速成为开源社区最常用的对齐方法之一。

它要替代的是 RLHF

让大模型的回答更有帮助、更安全、更符合人类期望，经典的方法是基于人类反馈的强化学习（RLHF），ChatGPT 就用了它。RLHF 分几步：先收集人类对模型回答的偏好数据，比如同一个问题的两个回答，哪个更好；再用这些数据训练一个奖励模型，学会给回答打分；最后用强化学习算法（通常是 PPO），让大模型在奖励模型的打分指导下不断改进。这个流程很复杂：要训练和维护多个模型，强化学习过程不稳定、对超参数敏感，计算成本也很高。

DPO 的关键洞察

论文的核心发现是：在 RLHF 的优化目标下，最优的策略和奖励函数之间存在一个可以直接写出来的数学关系。利用这个关系，可以把“奖励”用模型本身的概率表示出来，于是论文标题说“你的语言模型其实暗中是一个奖励模型”。这样就不需要单独训练奖励模型，也不需要强化学习，可以直接在人类偏好数据上优化模型。

具体来说，DPO 的训练目标很直观：对于每一对偏好数据，提高模型生成“更好的回答”的相对概率，降低生成“更差的回答”的相对概率，同时用一个参考模型（通常是微调前的模型）作为锚点，防止模型偏离太远。它就像一个简单的分类损失，用普通的监督学习方式就能训练。

效果和影响

论文的实验显示，DPO 在控制生成情感、摘要和单轮对话等任务上，效果达到或超过了基于 PPO 的 RLHF，同时实现和训练都简单得多、也更稳定。此后出现了大量 DPO 的变体，比如 IPO、KTO、SimPO 等，以及针对多模态模型的版本。在需要强推理能力的场景中，基于可验证奖励的强化学习（如 GRPO）重新受到重视，但 DPO 仍然是偏好对齐中最基础、最常用的方法之一。