NVIDIA-Cosmos 是什么：开源的物理世界基础模型平台

NVIDIA-Cosmos 是英伟达研究院做的世界基础模型平台，2025 年 1 月在 CES 上发布，技术报告 1 月 7 日上了 arXiv。它的定位很具体：给机器人和自动驾驶团队一批开放权重的视频世界模型，用来生成符合物理直觉的模拟画面，补足真实数据不够用的缺口。

世界基础模型可以理解成机器人的练习场：输入文字、图像、视频或动作，它预测环境接下来的样子，并用视频画出来。真机试错摔坏一次就是真金白银，在世界模型里试错，成本只剩算力。

它是平台而不是单个模型。官方列出的组成有生成式世界模型、视频分词器、安全护栏，以及基于 NeMo Curator 的加速视频处理管线。

关键规格：4B 到 14B，两条技术路线

模型分扩散和自回归两条路线。扩散有 7B 和 14B 两档，各分 Text2World 和 Video2World：前者按文字生成 121 帧视频，后者拿一帧开头加文字往后续写 120 帧。自回归有 4B 和 12B 的基础版，以及加了文字条件的 5B 和 13B Video2World 版。官方说参数量在 4B 到 14B 之间，并分成 Nano、Super、Ultra 三档，分别对应低延迟与边缘部署、均衡基线、追求画质并用于蒸馏自定义模型。意思是可以按场景选大小：要快用小的，要画质再上大的。

视频模型没有上下文窗口一说，输出长短看帧数，输入可以是文字、图像和视频，输出是视频。另外附带一个 12B 的描述扩写模型和一个 7B 的视频解码器。

训练数据方面，官方说用了 2000 万小时的真实视频，折合 9000 万亿个 token，涵盖人类活动、环境、工业、机器人和驾驶。论文给出的比例里，自然动态占 20%，手部操作和空间导航各占 16%，驾驶占 11%；切出约 1 亿个片段后，语义去重又去掉约 30%。

分词器值得单独提。Cosmos Tokenizer 有连续和离散两种，时间上是因果的，图像和视频通吃。官方说压缩率比现有方法高 8 倍，速度快 12 倍；论文里 DAVIS 视频的重建质量高约 4 dB PSNR，单张 80GB 的 A100 能一次编码 8 秒 1080p 视频。它单独发布，不用整套模型也能拿去压缩自己的视频。

协议是 NVIDIA Open Model License，官方说允许商用。它不是 MIT 或 Apache 那类通用协议，媒体报道也指出严格说不算开源，商用前自己读一遍条款。

成绩单：它到底多懂物理

评测由英伟达自己做，围绕两件事：画面在三维几何上是否自洽，演变是否贴合物理模拟。作者也写明更全面的评测留待后续。

几何这组的基线是 VideoLDM。Sampson 误差越低越好，VideoLDM 是 0.841，Cosmos 的 5B Video2World 是 0.392，真实视频参考值是 0.431；相机位姿重建成功率，三者分别是 4.4%、27.0% 和 56.4%。误差已和真实视频在同一水平，但位姿重建成功率还不到真实视频的一半，离以假乱真有距离。

物理对齐这组以物理模拟结果为参照，其中一个数字是 7B Video2World 给到 9 帧上文后，平均 IoU 从 0.332 升到 0.592。论文还观察到模型更大并不一定更贴合物理，光靠加参数未必能补上物理一致性。

怎么用、多少钱

权重可在 Hugging Face 和 NGC 目录下载，代码在 GitHub。想先看效果，英伟达 API 目录上放过自回归 5B 和扩散 7B 的在线预览。发布时官方说优化过的 NIM 微服务随后提供，企业支持走 NVIDIA AI Enterprise。

本地部署门槛不低。NGC 模型卡给的单卡 H100 数据是：7B Text2World 生成一段视频约 412 秒、占 42 GiB 显存，14B 约 723 秒、占 68 GiB。另一张表显示只卸载文字扩写模型时，7B Video2World 要约 76.5 GB，14B 超过 80 GB。模型卡只写明在 Linux 上测过。

价格上，官方口径是研究者和开发者不论公司大小都能免费使用，开销主要在 GPU。托管调用怎么计费，以英伟达 API 目录页面为准。

和谁比：后来者与普通视频模型

这是系列起点，没有上一代，但有后来者。2025 年 3 月 GTC 补上了 Transfer 和 Reason；10 月的 Predict 2.5 把三种生成合并进一个模型，有 2B 和 14B 两档。官方说后训练的 Predict 2.5 体量更小，在多样提示词上与 Wan 2.2 5B、Wan 2.1 14B 相当。2026 年 6 月 1 日官方仓库宣布 Cosmos 3 上线，称其为下一代开放全模态世界基础模型。从零开始的话，直接看这两代更省事；1.0 的价值在于论文把数据管线、分词器、预训练和后训练讲得很全。

和面向创作的视频产品比，取舍也不同。论文把美学分阈值设得保守，理由是美感对物理 AI 没那么重要，还剔除了游戏画面和动画；基线选的是 VideoLDM 这类研究模型，不能直接拿数字去比别家成品。弱点也写在论文里：自回归版用离散分词，画面容易发糊，要再接扩散解码器。

适合谁，坑在哪

做机器人、具身智能、自动驾驶的团队值得试。英伟达给了相机控制、指令驱动的机器人操作和自动驾驶三类后训练范例，可以拿自己的数据微调，当作合成数据的来源。AI主线的看法是，这套东西的价值在于把整条链路摊开给你看，而不是拿来直接出片。

做内容的人不必多看，它没有面向普通用户的界面，要有 H100 级别的卡和 Linux 环境，一段视频几百秒起步。

做选型的要心里有数：论文列举了用世界模型评估策略、训练策略和做规划的设想，但明确写了本文没有这些应用的实验结果。结合位姿重建成功率，拿它做仿真评测前不妨先在自己的场景里验证。AI主线倾向把 1.0 当成可定制的起点，真要落地，同时看看 Predict 2.5 和 Cosmos 3 是否更贴合需求。