基础智能体是什么？能在虚拟和现实世界中通用的 AI 智能体

基础智能体（Foundation Agent）是英伟达高级研究科学家 Jim Fan（范麟熙）在 2023 年的 TED AI 大会演讲中提出的概念，被他视为人工智能技术的下一个重要发展方向。它指的是一个能够在虚拟世界和现实世界中泛化的通用智能体：就像大语言模型这样的“基础模型”能处理各种各样的语言任务一样，基础智能体能够在各种各样的环境中、以各种各样的身体形态完成各种任务。

从基础模型到基础智能体

大语言模型被称为“基础模型”，是因为同一个模型可以完成写作、翻译、编程、问答等大量不同的任务，而不需要为每个任务单独训练一个模型。但大语言模型主要是在文字的世界里工作，它们能“说”，却不能在世界中“做”。

Jim Fan 设想的基础智能体，要把这种通用性带到行动的领域：同一个模型，不仅能控制游戏中的虚拟角色，也能控制现实中的各种机器人，包括机械臂、四足机器狗、人形机器人；能够适应不同的环境，从游戏世界到真实的家庭和工厂；能完成各种各样的技能，而不只是一项特定的任务。他提出，可以用三个维度来衡量这类智能体的通用程度：能掌握多少种技能、能控制多少种身体形态、能适应多少种不同的现实。

它是怎么构想的

一个核心的思路是：在大量的、多样化的模拟环境中训练智能体。真实世界中的机器人数据采集又慢又贵，而在模拟器中，可以以远超现实的速度运行成千上万个环境，让智能体积累海量的经验。如果一个智能体能在一万个不同的模拟环境中都表现良好，它就很可能也能在第一万零一个环境，也就是我们的真实世界中工作。同时，借助大语言模型和视觉语言模型的通用知识与推理能力，让智能体能够理解语言指令、进行规划。

Jim Fan 和他的团队在这方面做了一系列有影响的研究：比如 Voyager，一个由 GPT-4 驱动、能在《我的世界》游戏中自主探索、不断学习新技能的智能体；Eureka，用大语言模型自动为机器人编写强化学习的奖励函数，教会机器人转笔等复杂技能。英伟达后来推出的人形机器人基础模型 GR00T 等项目，也体现了这一方向。

意义和挑战

基础智能体代表了 AI 从“理解和生成内容”走向“在物理世界中行动”的愿景，与具身智能、机器人基础模型、世界模型等方向密切相关。它面临的挑战包括：从模拟到现实的迁移，在模拟中学到的技能到了真实世界常常会失灵；机器人数据的稀缺；在真实世界中行动的安全性；以及对不同身体形态的统一控制。