资讯

英伟达的 MetricTrail 先放代码,权重要等,还只能非商用

2026-11-065 分钟阅读热点
TL;DR给你一段手机拍的视频,让机器说出镜头走过的路线,再报出每一帧里的东西离镜头有几米。这事听着不性感,机器人、仿真和视频生成却都绕不开它。

给你一段手机拍的视频,让机器说出镜头走过的路线,再报出每一帧里的东西离镜头有几米。这事听着不性感,机器人、仿真和视频生成却都绕不开它。

11 月 5 日,NVIDIA 把 MetricTrail 1.0 放上了 Hugging Face,做的是从长序列 RGB 图像里估计相机运动和逐帧公制深度。我们 AI主线 的看法是:MetricTrail 目前更像一份研究配方,价值在思路和 NVIDIA 自己给出的实验数据,离拿来直接干活还差权重和商用授权这两步。最让我意外的是,它自己真正训练的部分只有约 343 万个参数,剩下全是借来的现成大模型。

三个模型叠在一起,到底谁在干活?

先说底子。DPVO 是普林斯顿团队 2023 年发在 NeurIPS 上的视觉里程计方法,不去算整张图的稠密匹配,只盯着一小撮图像"补丁"在视频里怎么跑。论文自己说,对比当时的 DROID-SLAM,平均快约三倍,显存不到三分之一。

MetricTrail 在它上面加了两个冻结的外援。Meta 2025 年 8 月放出的 DINOv3,用的是 S/16 小号,负责让补丁认得清地标。微软研究院的 MoGe-2,用的是 ViT-L 版,负责给每张照片估一把"公制尺子",也就是告诉系统这东西大概离镜头几米。DPVO 当向导,一个帮它认路标,一个帮它量距离。

真正被训练的只有向导本体和中间的小适配器,整份检查点约 343 万个参数。MoGe-2 的 ViT-L 光自己就有 3.26 亿,两边差了近百倍。这有点抄作业的味道,但抄得挺聪明:重活交给别人的大模型,自己只管把它们接顺。

训练也不吓人,16 张 A100 80GB,跑 15000 步,大约七小时。门槛不在训练,在于后面几个大模型得自己凑齐,而且硬件那一栏官方只写了 A100。

跑分漂亮吗?先看它自己怎么说

模型卡里的 KITTI 数字很能说明问题。只用 RGB 图像、让系统自己估相机参数,平均轨迹误差是 14.05 米。换成标定好的双目再加回环修正,降到 3.00 米,中间还有给定内参那一档,成绩一路往下走。意思很直白:给它的信息越多越准,纯单目依旧难,两头差了接近五倍。

官方也没藏着掖着。公制尺度仍然只是估计值,动态场景的 TUM-Dynamic 上成绩落后于领先方法,系统也没有专门处理移动物体的掩码。这些数全是 NVIDIA 自家模型卡里的,第三方复现要等权重出来才有得查。

放进 VGGT 和 ViPE 的圈子里,它站哪一档?

VGGT 走的是另一条路。它是牛津和 Meta 做的前馈 Transformer,拿过 CVPR 2025 的 Best Paper Award,一到数百张图直接一次前向吐出相机参数、深度和点图,官方说一秒内就能出结果。MetricTrail 反着来,保留了显式的光束法平差,通俗讲就是反复挪相机位置和三维点,直到所有照片都对得上账。好处是每一步都能查,缺点是流程长、依赖多(三个模型叠一块儿,哪个出岔子都得排查,想想就头大)。

更该拿来对照的是 NVIDIA 自家的 ViPE。ViPE 2025 年 8 月发布,同样估相机内参、运动和稠密的近公制深度,官方说在位姿和内参精度上超过了 MegaSAM、VGGT 和 MASt3R-SLAM,单卡 3 到 5 FPS。MetricTrail 走稀疏补丁的轻量路线,模型卡给的速度是 12.70 FPS,不过两边的显卡、分辨率和数据都不一样,别拿帧率直接对着比。

还有一点得说清:给 DPVO 配公制深度先验,并非 NVIDIA 首创。Intel Labs 和华中科技大学的 RoMeO 在 2024 年 12 月就挂出了类似思路,论文自称把 DPVO 的误差砍掉一半以上。MetricTrail 的新意更多在 DINOv3 特征加 MoGe-2 深度这套新搭配,再加一个很工程化的立场:能不碰大模型参数就不碰。

现在值不值得动手?

对大多数人,还不到时候。仓库里没有模型权重,DINO-DPVO 检查点说是要另行发布,官方没给时间,我也不替它猜。权重走 NVIDIA 许可,只让用于非商用的研究或评估,DPVO 底座是 MIT,NVIDIA 自己写的源码标 Apache 2.0,DINOv3 又有它自己的许可。几套协议叠在一起,想商用的人光对条款就得花不少工夫。

输入也挑:至少 16 张按时间排好的图,格式是 PNG 帧或 KITTI 的 NPZ,命令行不直接读视频文件,也不导出稠密点云和网格,想做稠密重建得自己接后面的流程。对做视频生成数据或机器人仿真的人来说,ViPE 眼下更接近能用的东西,代码是 Apache 2.0,不过它会下载第三方模型,授权得逐个看(这坑别踩)。MetricTrail 更适合做研究的人拆开看,学学怎么把大模型的先验塞进经典优化里。

我接下来盯两件事:权重哪天放出来,以及第三方在动态场景和不同相机上能复现几成。这两关过了,343 万参数这个小体量才算真有说服力。