AEPO 是什么？平衡“探索欲”的智能体强化学习算法

AEPO（Agentic Entropy-Balanced Policy Optimization）是一种训练网页智能体的强化学习算法，由中国人民大学和快手的研究人员在 2025 年 10 月提出，论文标题是《智能体熵平衡策略优化》。

背景：熵与探索

智能体强化学习在激发网页智能体的多轮、长时程工具使用能力方面取得了显著进展，比如让智能体学会多次搜索、浏览网页来回答复杂问题。在强化学习里，“熵”衡量的是模型对下一步行动有多不确定。主流的智能体强化学习算法会在熵的引导下，重点探索那些不确定性高的工具调用步骤，因为不确定的地方往往是学习的关键。但论文发现，过度依赖熵信号会带来新问题：模型在高熵的步骤上过度分支探索，或者策略更新时被高熵的部分带偏，最终导致训练崩溃。

AEPO 的两个组件

一是动态熵平衡的采样机制。它在采样前先监控熵，自适应地分配全局采样和分支采样的预算：哪里值得多尝试几种可能，哪里不必。同时，对连续出现的高熵工具调用步骤施加分支惩罚，防止智能体在一连串不确定的步骤上无限分叉，浪费采样预算。

二是熵平衡的策略优化。在策略更新时，它在高熵部分的裁剪项中加入停止梯度操作，既保留了高熵步骤中有价值的学习信号，又适当地调整它们的梯度，避免这些步骤主导整个更新、让训练失去稳定。

意义

论文报告，AEPO 在多个具有挑战性的网页智能体基准上取得了优于主流强化学习算法的表现，并且训练过程更稳定、采样多样性更好。对于训练搜索、研究类智能体的团队，它提供了一种控制“探索与稳定”平衡的实用方法。