世界模型是什么?让 AI 在“脑中”模拟世界如何变化
世界模型(World Models)是能够对环境的状态进行表征,并预测状态之间如何转移的模型。简单地说,它是 AI 对“世界是怎么运作的”的一种内部理解:如果我做了某个动作,接下来会发生什么?有了这样的模型,智能体就可以在“脑中”的模拟环境中进行学习和规划,再把学到的策略迁移到真实世界中,从而提高学习效率、减少在现实中试错的风险。
从人类的认知说起
人类大脑会不断地构建关于世界的内部模型。打棒球时,球从投手手中飞到本垒只需要几百毫秒,比视觉信号传到大脑、再做出反应的时间还短,击球手之所以能击中,是因为大脑根据经验预测了球的飞行轨迹,提前挥棒。我们在做决定前,也常常会在脑子里“预演”不同选择的后果。
2018 年的经典论文
David Ha 和 Jürgen Schmidhuber 在 2018 年发表的论文《世界模型》让这个概念广为人知。他们设计的智能体由三部分组成:视觉模块,用变分自编码器把游戏画面压缩成简洁的表示;记忆模块,用循环神经网络预测下一时刻的画面表示会是什么,这就是世界模型的核心;以及一个很小的控制器,根据当前的表示和记忆决定动作。最有意思的是,他们让智能体完全在世界模型生成的“梦境”中训练,学会玩赛车和射击游戏,再把学到的策略放回真实的游戏环境中,依然能很好地工作。
如今的发展
世界模型的思想在强化学习中得到了大量发展,比如 DeepMind 的 Dreamer 系列,以及在棋类和雅达利游戏中学习环境模型的 MuZero。近年来,世界模型成为 AI 领域的热门方向:图灵奖得主杨立昆认为,让 AI 学会世界模型是通往人类水平智能的关键,并提出了 JEPA 等架构;视频生成模型被视为一种隐式的世界模型,OpenAI 在介绍 Sora 时就称视频生成是构建“世界模拟器”的一条路径;谷歌 DeepMind 的 Genie 系列、英伟达的 Cosmos 等,能生成可交互的虚拟世界,用于训练机器人和自动驾驶系统。
世界模型面临的挑战包括:真实世界极其复杂,很难准确预测长期的变化;预测的误差会不断累积;以及如何确保模型真正学到了物理规律,而不只是模仿了表面的画面。