同策略是什么？强化学习中只用当前策略的经验来学习

同策略（On-Policy），也译为在线策略，是强化学习中的一类学习方式。它的特点是：智能体用来与环境交互、收集经验的策略，和它正在学习、改进的策略，是同一个策略。也就是说，智能体只能从自己当前的行为方式所产生的经验中学习。与之相对的是异策略（Off-Policy），也叫离线策略或离策略。

两个“策略”

要理解同策略和异策略的区别，先要区分两个概念。行为策略：智能体实际用来选择动作、与环境交互的策略，它决定了智能体收集到什么样的经验。目标策略：智能体正在学习和优化的策略，也就是我们最终想要得到的那个策略。在同策略方法中，这两个策略是同一个；在异策略方法中，两者可以不同。

可以用学开车来打个比方：同策略就像自己亲自开车，根据自己开车的体验来改进自己的驾驶方式；异策略则像是除了自己开，还可以看别人开车的录像、回顾自己很久以前的驾驶记录，从这些经验中学习一种更好的开法。

典型的例子：SARSA 与 Q 学习

SARSA 是经典的同策略算法。它的名字来自更新时用到的五个元素：当前状态、当前动作、奖励、下一个状态、下一个动作。它在更新动作价值时，使用的是智能体在下一个状态中实际将要采取的动作。如果智能体按照 ε-贪婪的方式有时随机探索，SARSA 学到的价值就会把这种探索行为也考虑进去。

Q 学习则是经典的异策略算法：它在更新时，假设在下一个状态中会采取价值最高的那个动作，而不管智能体实际上采取了什么动作。所以它学到的是最优策略的价值，而行为上仍然可以随意地探索。

这个区别在“悬崖行走”的经典例子中表现得很明显：智能体要沿着一道悬崖的边缘走到终点，掉下悬崖会受到很大的惩罚。Q 学习会学到紧贴着悬崖边走的最短路线，因为它假设自己将来总会做出最优的选择；而 SARSA 会学到一条离悬崖稍远、更安全的路线，因为它考虑到了自己在探索时偶尔会随机迈错一步的可能。

优缺点

同策略方法的优点是训练比较稳定，理论上更容易分析，学到的策略与实际的行为是一致的。它的主要缺点是样本效率较低：每当策略更新之后，之前用旧策略收集的经验就“过时”了，原则上不能再直接使用，需要用新的策略重新收集数据。而异策略方法可以把过去的经验保存起来反复使用，比如深度 Q 网络中的经验回放，样本利用效率更高。

常见的同策略算法包括 SARSA、REINFORCE、A2C 和 A3C，以及 TRPO 和 PPO。其中 PPO 通过裁剪限制每次策略更新的幅度，允许用同一批数据进行几轮更新，在一定程度上缓解了样本效率低的问题。它被广泛用于大语言模型的人类反馈强化学习训练中。