GTR 思维引导强化学习是什么？防止视觉智能体“想歪”

思维引导的强化学习（Guided Thought Reinforcement，GTR）是一种训练视觉语言模型智能体的强化学习框架，由清华大学、腾讯和北京大学的研究人员在 2025 年提出，论文标题是《GTR：思维引导强化防止基于强化学习的视觉语言模型智能体训练中的思维崩溃》。

它发现了什么问题

用“只看结果对不对”的可验证奖励做强化学习，在大语言模型上很成功，能有效扩展思维链推理能力，DeepSeek-R1 等推理模型就是这么训练的。但研究团队发现，这个方法搬到视觉环境里的智能体上就不灵了。他们用复杂的卡牌游戏（比如算 24 点）和 ALFWorld 里的具身任务做了大量实验，结果发现：当奖励只取决于动作的最终结果时，强化学习并不能激励视觉语言模型进行思维链推理，反而会导致一种被称为“思维崩溃”的现象：模型的思考过程变得越来越短、越来越空洞、和当前状态无关，最后几乎不再真正思考，只是机械地输出动作，表现也随之变差。

GTR 怎么解决

GTR 的思路是在强化学习的过程中，不只奖励结果，还对推理过程本身给予指导。它引入了一个自动纠错器：在每一步训练中评估智能体的推理是否合理，并给出改进后的推理，用来引导模型的思考。这样就不需要人工对每一步推理做密集的标注，同时能让推理过程和动作决策一起得到优化。这是一种简单且可扩展的方法。

意义

这项研究提醒了一个容易被忽视的问题：强化学习训练里，“只看结果”的奖励在某些场景下会让模型学会偷懒，丢掉推理过程。对于需要在视觉环境中多步决策的智能体，比如操作电脑界面、玩游戏、控制机器人，过程监督可能和结果奖励一样重要。论文报告 GTR 在多个任务上显著提升了智能体的表现和推理质量。