双模策略优化 BPO 是什么？教模型自己判断该不该思考

双模策略优化（Bi-mode Policy Optimization，BPO）是一种教多模态大模型自动决定是否要思考的强化学习算法，由腾讯混元团队和中国科学院自动化研究所在 2025 年 8 月提出，出自论文《R-4B：通过双模退火和强化学习激发多模态大模型的通用自动思考能力》。它是 R-4B 模型训练流程的第二步，接在双模退火之后。

自动思考难在哪

经过双模退火，模型已经同时会“思考后回答”和“直接回答”两种方式，但它还不擅长判断面对一个具体问题时该用哪种。如果直接用常规的强化学习去训练这种选择能力，会遇到一个常见问题：模型很容易“偷懒”，倾向于一律不思考，因为不思考的回答更短、更容易拿到格式上的奖励；或者反过来一律思考。结果是模型退化成只会一种模式，失去了自动选择的意义，这被称为模式坍塌。

BPO 的做法

论文指出，现有的一些强化学习方法需要复杂的奖励函数，高度依赖数据，或者对超参数很敏感。BPO 的设计比较简洁：在训练时，对于同一个问题，强制模型同时生成两组回答，一组用思考模式，一组用非思考模式。然后比较两种模式各自的表现，用简单的、基于规则的奖励（主要看答案是否正确）来更新模型。因为每个问题都同时采样了两种模式，模型始终能看到两种做法的对比结果：对于简单问题，直接回答也能答对，而且更快；对于难题，只有思考才能答对。这样模型就逐渐学会了根据问题难度来选择，又不会因为偏向某一种模式而坍塌。

效果

论文报告，经过 BPO 训练的 R-4B 模型，在 25 个有挑战性的基准上取得了很好的成绩，在大多数任务上超过了同规模的模型，在推理密集型任务上能达到和更大模型相当的水平，同时计算成本更低。这种“该想再想”的能力，对于降低多模态模型的推理开销很有实际意义。