PRGS 是什么？离线强化学习里挑出“高光片段”的方法

Peak-Return Greedy Slicing（PRGS，峰值回报贪婪切片）是一种改进离线强化学习的算法框架，由山东大学、中国科学院、理想汽车、清华大学等研究团队共同提出，论文标题是《峰值回报贪婪切片：面向基于 Transformer 的离线强化学习的子轨迹选择》，已被 ICLR 2026 接收。

先说背景：离线强化学习

强化学习通常要让智能体在环境里反复试错，但在自动驾驶、医疗、机器人等场景，随意试错代价太高。离线强化学习换了个思路：只用已经收集好的历史数据（比如过去的驾驶记录）来学习策略，不再和环境交互。近年流行的做法是用 Transformer 把这个问题当成序列建模：把“状态、动作、回报”排成序列，像语言模型预测下一个词一样，预测下一步该做什么动作，代表方法是 Decision Transformer。

PRGS 要解决的问题

历史数据里的轨迹往往好坏参半：一段很长的驾驶记录，可能前半段开得很好，后半段犯了错。现有方法大多以完整轨迹和最终回报为单位来学习，难以区分一条长轨迹里局部的好片段和坏片段。结果是好的经验被整条轨迹的低分拖累，模型也就很难把不同轨迹里的优秀片段“拼接”起来，组合出比任何单条历史轨迹都好的策略，这种能力在离线强化学习里被称为经验拼接。

它怎么做

PRGS 在时间步的级别上对轨迹进行显式切分，挑出高质量的子轨迹用于训练。它有三个核心机制：基于最大均值差异（MMD）的回报估计，更准确地评估每一段子轨迹的价值；贪婪切片策略，从轨迹中切出回报达到峰值的片段；以及自适应的历史截断，决定模型在决策时应该回看多长的历史。实验表明，PRGS 明显增强了模型拼接高回报经验的能力，提升了基于 Transformer 的离线强化学习方法的表现。

这类方法对于自动驾驶等拥有大量历史数据、但不能随便在线试错的领域，有很实际的价值。