GVPO 是什么？更稳定的大模型后训练强化学习方法

组方差策略优化（Group Variance Policy Optimization，GVPO）是一种用于大模型后训练的强化学习算法，由作业帮团队和香港科技大学（广州）的研究人员在 2025 年 4 月提出，论文标题是《GVPO：面向大语言模型后训练的组方差策略优化》，被 NeurIPS 2025 接收。

背景

后训练在打磨大模型、让它适应特定任务和人类偏好方面起着关键作用。近来的后训练技术，比如群体相对策略优化（GRPO），通过对同一个问题采样多个回答、用组内的相对奖励打分，取得了很好的效果，DeepSeek-R1 就采用了这类方法。但论文指出，这些方法常常存在训练不稳定的问题，限制了它们的实际应用。

GVPO 的核心思想

在强化学习后训练中，通常的目标是在不偏离原模型太远（用 KL 散度约束）的前提下，最大化奖励。这个带约束的优化问题，其实有一个数学上的解析解，也就是理论上的最优策略长什么样是可以写出来的。GVPO 的做法是把这个解析解直接融入梯度的权重中，确保每一步更新都朝着与最优策略一致的方向前进，而不是依赖启发式的近似。

论文还给出了一个直观的解释：GVPO 的梯度，反映的是“隐式奖励”的中心距离和“实际奖励”的中心距离之间的差异。简单理解，就是让模型自己隐含认为的好坏，与真实奖励给出的好坏，在组内的分布上对齐。从数学上看，它最小化的是这两者之间的均方误差，这也是名字里“方差”的由来。

优点

论文指出 GVPO 有两个重要优点：一是它保证了唯一的最优解，正好就是 KL 约束下奖励最大化的目标；二是它支持灵活的采样分布，不必局限于只用当前模型采样，这避免了在线策略方法的一些限制。实验显示，GVPO 在数学推理等任务上表现优于 GRPO 等方法，训练也更稳定。