NVIDIA Cosmos 是什么:给机器人和自动驾驶用的世界基础模型
它是什么
NVIDIA Cosmos 是英伟达在 2025 年 1 月 7 日发布的世界基础模型平台,发布场合是 CES 2025 的主题演讲,面向的是“物理 AI”:机器人、自动驾驶汽车、工业设备这类要在真实物理世界里行动的 AI 系统。Cosmos 不是单个模型,而是一整套工具:视频数据整理流水线、预训练好的世界基础模型、对这些模型做后训练的示例,以及视频分词器。英伟达把它开源,模型以宽松许可开放权重。
为什么物理 AI 需要世界模型
论文开头的一句话说得很清楚:物理 AI 需要先在数字世界里训练。它需要两个数字孪生:一个是它自己,也就是策略模型;另一个是世界,也就是世界模型。原因很现实:让机器人在真实世界里反复试错,又慢、又贵、还有安全风险;自动驾驶要覆盖各种罕见的危险场景,靠实车采集几乎不可能。如果有一个能逼真模拟“做了某个动作以后,世界会怎样变化”的模型,就可以在里面生成海量的训练数据和测试场景。
平台里有什么
Cosmos 把世界基础模型定位为通用世界模型,开发者可以在它的基础上微调出适合自己场景的定制世界模型,比如某种机械臂、某个仓库、某类道路。为此平台提供了几样东西:视频整理流水线,用来从海量视频里筛出对训练物理 AI 有用的片段;预训练世界基础模型,包括基于扩散和基于自回归的两类;后训练示例,演示如何把通用模型适配到具体机器人或驾驶任务;以及视频分词器,用来高效压缩和表示视频。
适合谁
做机器人、自动驾驶、工业仿真的研发团队,是 Cosmos 最直接的用户,可以用它生成合成数据、做策略评估,或者在它基础上训练自己的世界模型。研究世界模型的学者,开源的代码和权重提供了一个现成的起点。普通内容创作者用它意义不大,它的目标是物理真实,而不是画面好看。运行和微调这些模型需要较强的 GPU 算力。AI 主线的看法是:英伟达押注物理 AI,Cosmos 是它在软件层的关键一环,把世界模型开源出来,既是在培育生态,也是在为自家的算力和机器人平台铺路。