强化学习是什么？通过试错和奖励学会做决策

强化学习（Reinforcement Learning，RL）是机器学习的一个主要分支，研究的是一个智能体如何在与环境的不断交互中，通过尝试和反馈来学习做出决策，从而获得尽可能多的长期回报。它与监督学习、无监督学习并称为机器学习的三大范式。

基本框架

强化学习中有几个核心概念：智能体，也就是做决策的学习者，比如一个下棋的程序、一个机器人；环境，智能体所处并与之交互的外部世界；状态，环境当前的情况；动作，智能体可以采取的行为；奖励，环境对智能体动作的反馈，好的动作获得正的奖励，坏的动作获得负的奖励；策略，智能体在每种状态下选择动作的规则。交互的过程是一个循环：智能体观察当前的状态，选择一个动作，环境转移到新的状态并给出奖励，智能体据此调整策略，然后继续下一步。这个过程通常用马尔可夫决策过程来描述。

与监督学习的区别

在监督学习中，每个样本都有一个标准答案，模型直接学习这些答案。而在强化学习中，没有人告诉智能体每一步应该怎么做，它只能通过自己的尝试，从奖励中间接地知道做得好不好。而且奖励往往是延迟的：下棋时，可能要到整盘棋结束才知道输赢，很难判断到底是哪一步棋起了关键作用，这被称为信用分配问题。此外，智能体还要在探索和利用之间取得平衡：既要利用已知的好方法获得奖励，又要尝试新的方法，才可能发现更好的策略。

主要方法

基于价值的方法，学习每个状态或动作的价值，再选择价值最高的动作，代表是 Q 学习和深度 Q 网络；基于策略的方法，直接学习和优化策略本身，代表是策略梯度方法；以及结合两者的演员-评论家方法，比如 A3C、PPO、SAC 等。此外还有利用环境模型进行规划的基于模型的方法。

标志性的成果

2013 到 2015 年，DeepMind 的深度 Q 网络仅凭游戏画面学会了玩几十款雅达利游戏。2016 年，结合了深度学习、强化学习和蒙特卡罗树搜索的 AlphaGo 击败了围棋世界冠军李世石，此后的 AlphaZero 完全通过自我对弈学会了围棋、国际象棋和日本将棋。强化学习还被用于机器人的运动控制、芯片布局设计、数据中心的节能等。理查德·萨顿和安德鲁·巴托因为奠定了强化学习的基础，获得了 2024 年度的图灵奖。

在大模型中的作用

强化学习如今是训练大语言模型的关键环节：基于人类反馈的强化学习（RLHF）让模型的回答更符合人类的偏好；而在数学、编程等可以自动验证答案的任务上进行大规模的强化学习，让模型学会了在回答前进行长时间的思考，诞生了 OpenAI o1、DeepSeek-R1 等推理模型。