ReinFlow 是什么？用在线强化学习微调机器人的流匹配策略

ReinFlow 是一个用在线强化学习微调流匹配策略的框架，由卡内基梅隆大学、清华大学等机构的研究人员在 2025 年提出，论文标题是《ReinFlow：用在线强化学习微调流匹配策略》，入选 NeurIPS 2025。

背景：流匹配策略

在机器人控制中，越来越多的方法用生成模型来表示策略，流匹配就是其中一种：它从随机噪声出发，沿着学到的“流动路径”一步步变换，最终生成机器人的动作。这类策略能表达复杂、多样的动作，通常先用人类示范数据训练。但只靠示范数据训练出来的策略，效果受限于示范的质量，需要再用强化学习在实际环境中进一步提升。

难点在于：流匹配策略的生成路径是确定性的，没有随机性，强化学习需要的探索就难以进行；而且强化学习通常需要计算某个动作出现的概率，流匹配策略很难直接、精确地算出来。

ReinFlow 的做法

ReinFlow 从严格的强化学习理论出发，在流策略的确定性路径中注入可学习的噪声，把原本确定的“流”转换成一个离散时间的马尔可夫过程。这样一来，每一步的概率都能精确、直接地计算出来，强化学习就可以正常进行；注入的噪声又自然地带来了探索，并且保证了训练的稳定性。噪声的大小是可学习的，模型会自己调整探索的程度。

它可以微调多种流模型的变体，包括整流流（Rectified Flow）和捷径模型（Shortcut Models），尤其是在只用很少的去噪步数、甚至一步生成的情况下也能工作。

效果

论文在腿式机器人运动、机械臂操作等多个连续控制任务上验证了 ReinFlow，结果显示微调后策略的成功率和回报都有显著提升，同时相比其他方法，所需的计算时间更少。它为“先用示范学会、再用强化学习精进”的机器人训练流程，提供了一个适用于流匹配策略的实用工具。