自然语言强化学习 NLRL 是什么？用语言而不是数字来做强化学习

自然语言强化学习（Natural Language Reinforcement Learning，NLRL）是一个用自然语言来表达和执行强化学习的框架，由伦敦大学学院、上海交通大学、布朗大学、布里斯托大学、新加坡国立大学和萨里大学的研究者在 2024 年提出，论文标题就是《自然语言强化学习》。

传统强化学习用的是数字

强化学习是让智能体通过与环境交互、根据奖励不断改进行为的方法。它有一套核心的数学概念：任务目标用奖励来表示；策略是在每个状态下选择动作的规则；价值函数用一个数字表示某个状态或动作“有多好”，也就是预期能获得多少累计奖励；贝尔曼方程描述了当前状态的价值和后续状态价值之间的关系；策略迭代则是交替地评估当前策略、再改进策略的过程。在传统强化学习中，这些全都是数字和数学公式。

NLRL 的核心思想

NLRL 的核心思想是：把强化学习的这些核心概念，包括任务目标、策略、价值函数、贝尔曼方程和策略迭代，都用自然语言重新定义。比如在下棋时，传统的价值函数只会输出“当前局面胜率 62%”这样一个数字；而在 NLRL 中，价值函数变成了一段语言评估：“白方中心控制较好，但王翼的兵结构有弱点，黑方如果进攻王翼会比较危险。”策略也不只是选出一个动作，而是包含了选择这个动作的思考过程。语言形式的贝尔曼方程，则是把对后续局面的语言评估，综合成对当前局面的语言评估。

借助大语言模型强大的语言理解和推理能力，这些语言形式的概念都可以由大模型来实现：大模型充当语言价值函数、语言策略，以及负责综合信息的“语言贝尔曼算子”，通过与环境的交互不断改进。

有什么好处

论文认为，语言是比单一数字更丰富的信息载体：它能表达为什么一个局面好或不好，能包含多方面的考虑，而不只是一个结论。这让强化学习的过程变得可解释，人类能读懂智能体的“想法”；也能更好地利用大模型中已有的先验知识。研究者在迷宫、突破棋、井字棋等任务上验证了 NLRL 的可行性。这项工作为把大模型和强化学习更紧密地结合提供了一个新的视角。