双模退火是什么？让多模态模型同时学会思考和直接回答
TL;DR双模退火（Bi-mode Annealing）是腾讯混元和中科院自动化所在 2025 年 8 月提出的训练方法，用于 R-4B 模型，在退火阶段同时用需要推理和不需要推理的数据训练，让模型兼具思考和不思考两种模式，为自动思考打基础。
双模退火（Bi-mode Annealing）是一种让多模态大模型同时掌握“思考”和“不思考”两种回答方式的训练方法，由腾讯混元团队和中国科学院自动化研究所在 2025 年 8 月提出，出自论文《R-4B：通过双模退火和强化学习激发多模态大模型的通用自动思考能力》。
要解决的问题
具备逐步思考能力的多模态大模型，在复杂推理问题上表现出色。但对于不需要复杂推理就能回答的简单问题，比如“图里有几只猫”，冗长的思考过程是多余的，既浪费算力又拖慢响应。理想的模型应该能根据问题的复杂程度，自己决定要不要思考，这被称为“自动思考”。要做到这一点，模型首先得同时具备两种能力：会认真推理，也会直接简洁地作答。
什么是退火阶段
在大模型训练中，“退火”通常指预训练后期或后训练前的一个阶段：逐步降低学习率，用高质量、有针对性的数据继续训练，让模型的能力更加稳固。双模退火就是在这个阶段，同时混入两类精心准备的数据：一类是带有详细推理过程的回答，用于需要思考的复杂问题，比如数学题、图表推理；另一类是直接给出答案的回答，用于简单的问题。研究者还设计了一套数据构建的流程，根据问题的难度，判断它更适合哪种回答模式。
在整个流程中的作用
双模退火的目标，是训练出一个在通用领域中天生就同时具备思考模式和非思考模式能力的模型。经过这个阶段，模型两种模式都会用，但还不太会判断什么时候该用哪种。在此之后，再通过专门设计的强化学习算法（双模策略优化，BPO），教模型学会根据问题自动选择模式。所以双模退火为后续的自动思考训练打下了坚实的基础。
论文报告，最终得到的 R-4B 模型在多个基准上表现优异，在推理密集型任务上能接近参数更大的模型，同时在简单任务上避免了不必要的计算。