DisCO 是什么？用判别学习改进推理模型的强化学习

DisCO（Discriminative Constrained Optimization，判别式约束优化）是一种强化大型推理模型的训练框架，由德克萨斯农工大学的研究团队在 2025 年 5 月提出，论文标题是《DisCO：用判别式约束优化强化大型推理模型》，入选 NeurIPS 2025。

背景：GRPO 的流行与局限

DeepSeek-R1 的成功和开源，让群体相对策略优化（GRPO）作为推理模型的强化学习方法受到广泛关注。GRPO 的做法是：对同一道题让模型生成一组回答，按照这一组内的相对好坏来调整模型，答对的回答被强化，答错的被抑制。

研究者在“答对得 1 分、答错得 0 分”的二元奖励设定下分析了 GRPO 的目标函数，发现它存在一个内在的局限：题目级别的难度偏差。简单来说，GRPO 对不同难度题目的学习力度并不均衡，太简单或太难的题目得到的权重和中等难度的题目不同，这会影响训练的效果。研究者还发现，GRPO 和监督学习中传统的判别式方法之间存在联系。

DisCO 的做法

受这些发现启发，DisCO 直接基于判别学习的原则来设计：提高正确答案的得分，同时降低错误答案的得分，就像训练一个能区分好坏答案的判别器。相比 GRPO 及其变体，它有几个优势。第一，采用判别式目标，完全消除了难度偏差。第二，使用不做裁剪的评分函数和约束优化方法，解决了 GRPO 中裁剪操作带来的熵不稳定问题，让训练过程更平稳，训练的轮次也可以更长。第三，可以方便地引入先进的判别学习技术，比如处理正确答案和错误答案数量严重不平衡的情况。

效果

论文报告，在数学推理任务上，DisCO 显著超过了 GRPO 及其改进版本 DAPO 等方法。这项工作从理论上剖析了 GRPO 的问题，为推理模型的强化学习提供了一个更稳定、更有理论依据的替代方案。