SAC Flow 是什么？让流匹配策略也能用 SAC 稳定训练
TL;DRSAC Flow 是清华大学和卡内基梅隆大学等在 2025 年 10 月提出的强化学习算法，把流匹配策略看作序列模型，将速度网络重新参数化为 GRU 或 Transformer 结构，解决训练时梯度不稳定的问题，样本效率高。
SAC Flow 是一种用强化学习高效训练流匹配策略的算法，由清华大学、卡内基梅隆大学等机构的研究人员在 2025 年 10 月提出。它的名字来自 SAC（Soft Actor-Critic，软演员-评论家），这是强化学习中一种以样本效率高、训练稳定著称的经典算法。
问题：流策略的梯度不稳定
流匹配策略用一个“速度网络”描述动作是如何从随机噪声一步步变换出来的，能够表达复杂、多样的动作分布，因此在机器人控制中越来越受欢迎。但直接用强化学习训练它们并不容易：生成一个动作要经过多步的流动变换，强化学习的梯度需要穿过这一整串步骤反向传播，很容易出现梯度爆炸或消失，导致训练不稳定。这和训练很深的循环神经网络时遇到的问题非常相似。
SAC Flow 的思路
研究者的关键观察是：基于流的模型可以被看作一种序列模型，多步的流动变换就像一个序列一步步展开。既然如此，就可以借鉴序列模型领域里解决梯度问题的成熟设计。SAC Flow 把流策略的速度网络重新参数化为 GRU（门控循环单元）或 Transformer 的结构：GRU 里的门控机制和 Transformer 里的残差与注意力结构，本来就是为了让梯度在长序列中稳定传播而设计的。这样改造之后，流策略就能用 SAC 这类离线策略的强化学习算法稳定地训练了。
效果
研究人员在“从头开始训练”和“先离线学习、再在线微调”两种设置下评估了 SAC Flow。结果显示它学得快、样本效率高，在多个连续控制基准和机器人操作任务上取得了很好的表现。这项工作把序列建模的经验和生成式策略结合起来，为训练表达能力强的机器人策略提供了一个稳定、高效的方法。