异策略是什么？用别的策略产生的经验来学习目标策略

异策略（Off-Policy），也叫离策略或离线策略，是强化学习中的一类学习方式：用来与环境交互、收集经验的策略，叫作行为策略；正在学习、希望改进的策略，叫作目标策略。在异策略方法中，这两个策略可以不同。也就是说，智能体可以从别的策略产生的经验中，学习另一个策略。与之相对的是同策略，它要求两个策略是同一个。

一个直观的比喻

同策略就像学开车时只能根据自己当前的驾驶体验来改进；异策略则像除了自己开车，还可以看别人开车的录像，回顾自己很久以前的驾驶记录，甚至观看驾校教练的示范，从所有这些经验中学习一种更好的开法。异策略的好处显而易见：经验的来源更加广泛，不必每次都亲自去尝试。

经典的例子：Q 学习

Q 学习是最经典的异策略算法。在更新动作价值时，它假设在下一个状态中，智能体总会选择价值最高的那个动作，而不管智能体实际上采取的是什么动作。因此，Q 学习学到的是最优策略的价值，而智能体在收集经验时，可以采用带有随机探索的策略，比如 ε-贪婪策略，有时随机地尝试各种动作。行为策略负责探索，目标策略追求最优，两者分工明确。与之相对，SARSA 算法在更新时使用智能体在下一个状态中实际采取的动作，所以它是同策略的，学到的是包含了探索行为在内的策略的价值。

异策略的优势：复用经验

异策略方法最大的优势在于样本效率高：过去收集的经验可以被保存起来，反复地用于学习，而不必每次更新策略之后都重新收集数据。2013 到 2015 年，DeepMind 的深度 Q 网络（DQN）正是利用了这一点：它把智能体与环境交互的经历存放在一个“经验回放池”中，训练时从中随机地抽取过去的经验来更新网络。这不仅提高了数据的利用效率，还打破了连续经验之间的相关性，让训练更加稳定。此外，异策略方法还可以利用人类专家的示范数据，或者其他智能体收集的数据进行学习。适用于连续动作的 DDPG、TD3 和 SAC 等算法也都是异策略的，它们在机器人控制等任务中被广泛地使用，因为在真实的机器人上收集数据成本很高，复用经验尤为重要。

异策略的挑战

分布的差异：行为策略收集的数据，其分布与目标策略实际会遇到的情况不同。为了修正这种差异，常常使用重要性采样：根据目标策略与行为策略选择同一个动作的概率之比，对每条经验进行加权。但当两个策略相差很大时，这个比值可能非常大或非常小，导致估计的方差很大、训练不稳定。为此，研究者提出了截断重要性权重等改进方法，比如 Retrace、V-trace。训练的稳定性：异策略学习、函数近似（比如用神经网络表示价值函数）和自举（用自己的估计来更新自己的估计）这三者结合在一起，可能导致训练发散，理查德·萨顿称之为“致命三要素”。目标网络、双 Q 学习等技巧被用来缓解这一问题。离线强化学习：异策略的一个极端情况是离线强化学习，智能体完全不能与环境交互，只能从一个事先收集好的固定数据集中学习。这时，策略可能会选择那些数据中从未出现过的动作，而对这些动作的价值估计往往过于乐观，导致学到的策略在实际中表现很差，这叫分布偏移问题，需要专门的方法来约束策略不要偏离数据太远。离线强化学习在医疗、自动驾驶等难以进行试错的领域有着重要的意义。