Ai2 开源机器人动作模型,摆积木五成多成功率,卖点是能拆开测
让机器人看着摄像头,把三块积木按指定的样子摞起来,听着像幼儿园手工课。可真让模型去干,十回里能成五六回,已经算一份拿得出手的成绩单了。
11 月 5 日,Ai2 在 Hugging Face 放出了 ManiFlow-tb,一个 3.225 亿参数的机器人低层动作模型,协议是 Apache 2.0,权重、训练配置和归一化统计都一起给了。我们 AI主线 的看法是:ManiFlow-tb 的价值不在 54% 到 59% 的成功率,而在它是一块能把"动作执行"单独拎出来测、随时能换掉的开放组件。
这东西到底管哪一截?
它属于 ToyBlocks,一个让机械臂堆积木的项目。整套系统分两层:高层策略负责想"下一步该动哪块",低层负责把手臂真的动起来。高层是导演,低层是演员,ManiFlow-tb 就是那位演员。
演员拿到的东西不少:前置和夹爪两路摄像头画面,用 CLIP ViT-B/16 编码;机器人自身的状态;一个任务名;再加高层给的一张目标热力图,当成一个 token 塞进去。(热力图说白了,就是高层在图上圈出"往这儿放"。)
吐出来的是一段 25 步的动作,最后一维是模式位,1 继续、0 暂停、-1 技能做完。生成方式是流匹配加一致性训练,推理只走 12 步。可以想成从一团随机噪声出发,顺着学出来的方向,十二步把它"修"成一段能用的动作。
骨架是 12 层、8 头、宽度 768 的 DiTX 动作头,权重用 bf16 存成 safetensors。训练数据来自仿真的 Franka 机械臂,内容是三块积木的抓放和原地旋转,一共跑了 20 万步。按参数量算,bf16 的权重不到 0.7 GB,体量很克制。
五成多的成绩单,水分有多大?
先看怎么测的。128 个验证集上的三块积木任务,每个都从一条录好的演示的初始状态开始,高层计划直接用标准答案,所以测的只是低层这一个模型。四次跑下来成功 69 到 76 个,也就是 54% 到 59%,其中碰撞结束的有 30 到 38 个。
这里有个坑,卡片自己写了出来:默认 30 秒时限下,128 个里只有 26 到 28 个能成,大多数还没做完就超时了,测的是时钟,不是模型。所以评测把时限放宽到最长专家演示的三倍,也就是 194 秒。
还有一点我挺喜欢。四次跑用的是同一批 episode、同一套设置,两次结果之间只有 82 到 97 个局面一致,同一局能一会儿成一会儿败,原因是仿真和批量推理不是逐位确定的。卡片把四次都摆了出来,没有挑最漂亮的那一次。
那这个五成多该怎么掂量?我的看法是别当真机成绩看。仿真里、给了标准高层计划、只有三块积木,三个条件都在帮它。
跟它配对的高层模型 Molmo2-4B-tb,OrcaRouter 读完模型卡后整理过一张表:简单任务、见过的积木,换成手写运动规划器来执行,成功率是 97.5%,换成 ManiFlow 是 55.5%。这些都是 Ai2 在自家仿真里自己测的,还没有第三方复现,但差出来的 42 个点,指向的正是执行层。
跟 NVIDIA 那套比,不是一个量级的东西
说到开放的机器人模型,大伙多半会想到 NVIDIA 的 GR00T。4 月 17 日,NVIDIA 在 Hugging Face 博客上放出 GR00T N1.7 抢先体验版,官方的说法是 30 亿参数、开放、带商用授权的人形机器人视觉语言动作模型。
ManiFlow-tb 的参数大约是它的十分之一,但这两个没法直接比强弱。GR00T 是看图、听话、出动作一条龙,面向人形,能跨机体;ManiFlow-tb 只是"出动作"那半截,活在仿真桌面上,对手是三块积木。拿一台发动机去比一整辆车,比不出什么。
ManiFlow 这套训练法本身也不新。2025 年的 CoRL 论文里就有,论文自己说在真机任务上成功率接近翻了一倍,覆盖单臂、双臂和人形三类平台。这次 Ai2 是把它搬进 ToyBlocks 当底座,训练代码一并放了出来。AI主线 觉得这才是更实在的部分:有人愿意把"模型怎么训、怎么测"整包摆出来,别人才有作业可抄。
对谁有用,接下来盯什么
写代码的、做内容的、管选型的,这条跟你们暂时没关系,它是研究件,不是产品。做机器人学习的人用得上:想给自己的高层模型找个现成的低层执行器,或者想弄清分层策略里到底是哪一层在拖后腿,这套东西现成。
要盯的有两件。一是 ToyBlocks 的博客和技术报告:OrcaRouter 查到,模型卡上挂的博客链接打不开,技术报告也没放出,现在能核对的只有模型卡、配置和代码。二是谁会往高层的位置上塞模型,OrcaRouter 还提到,ToyBlocks 的 README 把 Molmo2、Astra 和 Claude 都列成了可选的高层策略,真有人跑出对比,那才好看。
机器人这行不缺演示视频,缺的是出了错、能说清楚是哪一层错的底座。ManiFlow-tb 先把低层做成了能单独打分的样子,接下来就看有没有人拿它认真跑一圈。