强化微调 RFT 是什么？用强化学习让模型学会推理出正确答案

强化微调（Reinforcement Fine-Tuning，RFT）是一种把监督微调和强化学习结合起来训练模型的方法。它的核心是：让模型对同一个问题尝试多条推理路径，自动评估这些路径得出的答案是否正确，再根据评估结果优化模型，从而提升模型生成高质量解答的能力。

早期的代表：ReFT

2024 年，字节跳动的研究团队在论文《ReFT：用强化微调进行推理》中较早地系统提出了这一思路。他们注意到，常规的监督微调是让模型模仿训练数据中的一条标准解题过程。但一道数学题往往有很多种正确的解法，只学一种解法，模型的泛化能力有限。ReFT 分两步：先用监督微调做“热身”，让模型具备基本的解题能力；然后用强化学习（PPO 算法），让模型对每道题自己采样生成多条推理路径，根据最终答案是否正确自动给出奖励，正确的路径被强化，错误的被抑制。这样，模型能从同一道题的多种解法中学习，而且不需要额外的人工标注。论文在数学推理基准上显示，ReFT 明显优于单纯的监督微调。

OpenAI 的强化微调服务

2024 年 12 月，OpenAI 在其发布会上推出了“强化微调”服务，允许开发者用自己领域的少量数据，通过强化学习的方式定制 o 系列推理模型。开发者需要提供任务数据，以及一个能判断回答好坏的“评分器”，模型会在训练中尝试回答、接受评分、不断改进。OpenAI 展示了它在法律、医疗、科研等专业领域的应用，用很少的样本就能显著提升模型在特定任务上的推理表现。

和监督微调的区别

监督微调是“照着标准答案抄”，模型学习模仿示范；强化微调是“自己做题、对答案、改进”，模型通过试错学会推理出正确的结果。前者需要高质量的完整示范，后者只需要能判断对错的评估方式。强化微调更擅长提升推理能力，在答案可以被验证的任务上尤其有效，比如数学、代码和有标准答案的专业问题。它也是如今训练推理模型的主流方法之一，DeepSeek-R1 等模型采用的基于可验证奖励的强化学习，本质上就是同一类思路。