模仿学习是什么？让 AI 看专家怎么做再照着学

模仿学习（Imitation Learning，IL）是让 AI 通过观察专家的示范来学会做事的方法。与强化学习不同，它不需要人为设计一个奖励函数来告诉 AI 什么是好、什么是坏，而是直接从“专家怎么做”中学习“我该怎么做”。教机器人叠衣服，可以先让人远程操控机器人叠几十次，记录下每一步的画面和动作，再让机器人学习模仿。

为什么需要它

强化学习需要一个明确的奖励信号，但很多任务的奖励很难设计。比如开车：怎么用一个数字准确表达“开得好”？安全、平稳、守规矩、效率，各项怎么权衡？奖励设计不好，AI 就会钻空子，学出奇怪的行为。而且强化学习往往需要大量的试错，在真实世界里试错代价很高。模仿学习绕开了这些问题：只要有专家的示范，就能直接学。

主要方法

行为克隆（Behavior Cloning）：最直接的方法，把专家示范当作监督学习的数据，学习从“看到的状态”到“专家采取的动作”的映射。简单有效，但有一个经典问题：误差累积。一旦 AI 稍微偏离了专家走过的轨迹，就会进入从没见过的状态，越偏越远。

DAgger（数据集聚合）：为了解决误差累积，让 AI 自己去执行，在它到达的新状态下请专家告诉它正确的动作是什么，把这些新数据加入训练集，反复迭代。这个方法由 Ross 等人在 2011 年前后提出。

逆强化学习（Inverse RL）：不直接模仿动作，而是从专家的示范中反推出专家心里的奖励函数是什么，再用这个奖励函数做强化学习。这样学到的是“专家在追求什么”，泛化能力更好。

生成对抗模仿学习（GAIL）：借鉴生成对抗网络的思想，训练一个判别器区分 AI 的行为和专家的行为，AI 则努力让自己的行为和专家难以区分。

应用

模仿学习在自动驾驶、机器人操作、游戏 AI 等领域有广泛的应用。如今很多机器人大模型，比如视觉语言动作模型，第一步都是在大量人类示范数据上做模仿学习，再结合强化学习进一步提升。模仿学习的效果高度依赖示范数据的质量和数量，示范数据的采集成本也是这个领域的主要瓶颈之一。