UNA 是什么？用一个隐式奖励函数统一 RLHF、DPO 和 KTO

UNA（Unified Alignment Framework，统一对齐框架）是一个统一多种大模型对齐方法的框架，由 Salesforce 和厦门大学的研究团队提出，论文标题是《UNA：用广义隐式奖励函数统一 RLHF/PPO、DPO 和 KTO 的对齐》。

背景：几种对齐方法各有长短

让大模型的输出符合人类偏好，目前有几种主流的方法。RLHF/PPO：先训练一个奖励模型，再用强化学习让模型提高奖励，效果好，但流程复杂、训练不稳定、占用内存多。DPO：直接用成对的偏好数据（两个回答中哪个更好）优化模型，简单稳定，但只能使用成对比较的数据。KTO：只需要“这个回答是好还是坏”的二元标注，不需要成对数据，数据更容易获取。这些方法各自使用不同类型的反馈数据，有不同的训练流程，彼此之间也缺少统一的理论联系。

UNA 的核心思想

UNA 的核心发现是：在 RLHF 的优化目标下，可以推导出一个广义的隐式奖励函数，它用模型本身的输出概率（相对于参考模型）来表示奖励，DPO 论文中的推导是它的一个特例。基于这个隐式奖励函数，UNA 把不同的对齐技术融合成一个统一的监督学习问题：最小化“隐式奖励”和“显式奖励”之间的差异。这里的显式奖励可以有多种来源：可以是人类给出的成对偏好，可以是“好或坏”的二元判断，也可以是一个奖励模型或大模型评委给出的具体分数。

有什么好处

统一：RLHF、DPO、KTO 都可以看作 UNA 在不同类型反馈下的特例，让这些方法有了共同的理论基础。灵活：同一个框架可以处理成对的、二元的、打分的多种反馈数据，甚至混合使用。简化：它把 RLHF 中不稳定的强化学习过程，转化成了一个稳定的监督学习问题，降低了训练的复杂度和内存需求，同时保留了使用奖励模型的能力。论文报告，在多个下游任务上，UNA 的表现优于 DPO、KTO 和 RLHF 等方法。