HiPO 是什么？让大模型自己决定要不要深度思考

HiPO（Hybrid Policy Optimization，混合策略优化）是一个让大模型学会“该想的时候想、不该想的时候直接答”的训练框架，由快手和南京大学的研究人员在 2025 年 9 月提出，论文标题是《HiPO：面向大模型动态推理的混合策略优化》。

问题：什么都要想半天

大语言模型越来越依赖思维链推理来提高复杂任务上的准确率。但如果每个问题都生成冗长的推理过程，效率就很低：问“1 加 1 等于几”也要先写一大段思考，浪费大量 token，推理成本和响应时间都上去了。理想的情况是，模型能判断问题的难度：简单的直接回答，难的再认真推理。

HiPO 怎么做

HiPO 让模型可以有选择地决定何时进行详细推理（论文称为 Think-on），何时直接回答（Think-off）。它由两部分组成。一是混合数据管道：为同一批问题同时准备“先思考再回答”和“直接回答”两种配对的回答，让模型学会两种模式。二是混合强化学习奖励系统：在奖励中同时考虑准确率和效率，答对了还要看是否用了不必要的长推理；同时避免模型过度依赖冗长的推理，防止它“为了保险起见什么都想一遍”。

意义

论文报告，HiPO 能在保持甚至提升准确率的前提下，显著减少生成的 token 数量。这类自适应推理的思路和厂商的实践方向一致：很多推理模型都提供了不同的推理强度档位，或者内置了自动判断是否需要深度思考的机制。对需要大规模部署大模型的应用来说，减少不必要的推理，就是直接节省成本、提升用户体验。