资讯

英伟达放出四个开放权重世界模型,驾驶和机械臂都能用,就差第三方验货

2026-11-065 分钟阅读热点
TL;DR自动驾驶最怕的,不是满街都有的常规路况,而是一辈子碰不上几回、碰上就出事的怪场面。可你总不能为了练这个,真去街上造一次险情。

自动驾驶最怕的,不是满街都有的常规路况,而是一辈子碰不上几回、碰上就出事的怪场面。可你总不能为了练这个,真去街上造一次险情。

11 月 5 日,NVIDIA 在 Hugging Face 博客上宣布,Cosmos 3 家族新增四个开放权重的 checkpoint:Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer 和 Cosmos3-Nano-Sim-Bimanual。四个都是 Cosmos 3 Nano 的后训练版本,官方标注可训练参数 16B,协议是 OpenMDW1.1,商用和非商用都允许。这四个模型把世界模型从“生成好看的视频”往“能被动作牵着走的模拟器”推了一步,但它们到底有多靠谱,眼下只有 NVIDIA 自己的演示,没有第三方验证。

四个名字一堆后缀,到底各管啥?

先说两个管“车”的。Transfer-Auto 是离线造数据的,官方说它能生成最多 11 路摄像头的同步视频,鱼眼也算,还能同时生成 RGB 和 LiDAR。你用场景地图控制画面里的路和车怎么动,再用文字改天气、光线、白天黑夜。

Sim-Auto 是 Transfer-Auto 蒸馏出来的流式版本。打个比方,前者像拍完再剪的电影,后者像直播:一小段一小段往外吐摄像头和激光雷达画面,每段只要很少几步去噪,还能根据新的驾驶操作接着往下演。

再说两个管“机器人”的。Sim-Transfer 的思路很有意思:物理仿真器照旧负责算运动、接触和物理状态,模型只负责“上色”,把深度、分割、边缘这些控制信号变成策略能直接吃的彩色画面。物理归仿真器,外观归模型,分工挺清楚。

Sim-Bimanual 更直接,给一张图,动一动机器人或者相机,它就生成下一批画面。官方说支持 YAM 和 AgiBot 两种双臂本体,可以让策略控制,也可以人拿摇杆操作。

跟六月那一波 Cosmos 3 比,变了啥?

Cosmos 3 在 6 月初首发,按官方 GitHub 发布说明,当时是 Nano(16B)和 Super(64B)两档底座,号称文本、图像、视频、音频、动作一锅端的全模态世界模型。

那次放的是“底座”,这次放的是“样板间”。Hugging Face 上这批模型归在 Cosmos3-Examples 合集里,意思很明白:底座你拿去,具体怎么调成驾驶版、机器人版,我把配方也给你。这是典型的先铺平台、再补应用,算常规迭代,不算转向。

配方里有一段我觉得值得讲。流式模型训练分四个阶段,最后一步叫 self-forcing,让模型在训练时就吃自己生成的历史画面。

为啥要这么折腾?因为一个物体画歪一点,就会变成后面所有帧的参考,错误越滚越大,跟抄了一份错作业接着往下抄一个道理。官方这个思路是对症的,至于效果多好,得看后面有没有人拿长序列去压测。

开放到底值多少钱?

先看同一赛道的玩家。Waymo 在 2 月发布了 Waymo World Model,基于 Google DeepMind 的 Genie 3,同样输出摄像头和激光雷达数据,支持驾驶动作、场景布局和语言三种控制。Wayve 的 GAIA-3 是 2025 年 12 月发布的 150 亿参数模型,定位是评估自家的自动驾驶系统。

这两家的东西,都是围绕自己车队和自己硬件打造的内部工具。The Decoder 在报道 Waymo 时还特意指出,对方没有公布跑分,也没有独立评测。

NVIDIA 给的是另一种东西:权重、后训练配方、一套可以适配你自己传感器布局的路径。官方的建议是先用你的数据后训练 Transfer-Auto,再蒸馏成 Sim-Auto。对没有 Waymo 那种车队的团队,这是个现成的起点,我们 AI主线 觉得这才是这次发布最实在的价值。

协议这块再补一句。OpenMDW-1.1 是 Linux 基金会在 5 月 28 日发布的宽松协议,一般不要求你公开微调后的权重。它 8 月提交给了 OSI 审核,LWN 的报道提到,社区对其中的终止条款还有争议。商用团队让法务过一眼,不亏。

谁该现在就上手,谁先看热闹?

门槛先摆出来:要 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit。官方公布的 vLLM-Omni 示例是在一块 GB200 上测通的,同时特别声明这不是最低显存要求。

翻译一下:官方没告诉你最低要多少卡。想在家里的游戏本上随手跑跑的玩家,先别抱期待。

还有个细节挺有意思:官方每个模型都配了“skill”,让你直接把它丢给自己的 coding agent,让 agent 去跑推理和后训练。拿 AI 来装配世界模型,这个路数在圈里算新鲜,不过我没法替官方保证体验,只能说方向对。

另外别误会 Sim-Auto。官方自己写明,要让车“开一步、画面变一步”,还得你自己接一套仿真运行时和场景渲染器,单靠这个模型是转不起来的。

最让我在意的是官方的一句坦白:接下来的工作,是衡量这些模型在哪些地方能忠实地支撑策略学习和评估,摸清局限。翻成大白话就是,画得像,不等于物理对,更不等于拿它评出来的分数能信。

所以我们 AI主线 接下来盯一件事:有没有第三方拿这些 checkpoint 做策略评估,再把结果跟真车、真机的表现对一对。对得上,这批模型才算真的进了工程师的工具箱;对不上,就还是一场好看的演示。

相关话题与公司