资讯

Ai2 放出 4B 积木机器人“大脑”,成绩单里拖后腿的其实是手

2026-11-065 分钟阅读热点
TL;DR让机器人把三块积木叠成一座塔,听着像幼儿园的手工课。

让机器人把三块积木叠成一座塔,听着像幼儿园的手工课。

可 Ai2 这次是认真的。11 月 5 日,它在 Hugging Face 上放出 Molmo2-4B-tb,约 4.5B 参数,专门给自家的积木堆叠测试场 ToyBlocks 当“大脑”。我们 AI主线 的看法是:Molmo2-4B-tb 这种只管规划的小模型,在最简单的堆叠任务里已经接近够用,眼下真正拖后腿的是负责动手的那一层。

这个“大脑”到底管哪一段活?

先把分工说清楚。ToyBlocks 是 Ai2 开源的一套仿真框架,基于 IsaacSim 和 IsaacLab,一条机械臂在桌上摆弄积木。机器人被拆成两层:上层决定下一步干什么,下层负责把手真伸出去。

Molmo2-4B-tb 是上层,好比导航软件,只报“前面路口右转”,方向盘得另有人握。它每次看一张 640x360 的前置摄像头画面,再读一句目标,先写一小段计划,比如“A 还没在 4 上,下一步把 A 挪到 4 上”,然后给出动作和一个坐标点,指向要抓的积木或要放的位置。

动作词表很短:抓、放、翻(前后左右四个方向)、转(顺时针逆时针)、完成。上层交出去的只有一个动作词加一个坐标点,接口很窄,两层才好各自替换。

底子是 Molmo2-4B,语言部分用 Qwen3-4B,视觉编码器是 SigLIP 2。官方说推理速度约每秒 6 次,bf16 下要 20GB 左右显存。训练也不夸张:6000 步,批大小 256,喂的全是仿真里的三块积木堆叠,另外掺了 25% 的指向数据,免得它学会堆积木就忘了 Molmo 原本“指哪是哪”的本事。

97.5 和 55.5,差在谁身上?

成绩单分三档:只堆叠的 Easy,要先翻面再堆的 Medium,还得先找积木的 Hard,每档 200 局。玩法是同一个大脑,换两种手,一种是传统的运动规划器,一种是学出来的 ManiFlow 策略。

Easy 档、见过的积木,运动规划器当手,成功率 97.5%;换成 ManiFlow,只有 55.5%。脑子没换,差了 42 个百分点。

这就是我说的拖后腿。规划这一层已经交了像样的答卷,执行这一层还在补课。

不过脑子也不是没毛病。还是运动规划器当手,积木换成没见过的,Easy 从 97.5% 掉到 81.0%,Hard 从 31.5% 掉到 14.5%。规划器不会因为积木眼生就手抖,我的判断是,这一截主要出在上层认积木、定步骤的环节。

实机成绩呢?官方说用 ManiFlow 当手,10 次试验成功 6 次。10 次是什么分量,大伙心里有数,当演示看就行。

还有一点得讲在前头:目前能查到的数字,全部出自 Ai2 自己的仿真测试。官方仓库的 README 里,技术报告一栏还挂着 coming soon。跑分党先别急着欢呼,这张成绩单在有人复现之前,只能算厂商自述。

Apache 2.0,拿去做产品行不行?

权重挂的是 Apache 2.0,听着很宽松。可模型卡自己写明,用途限于机器人研究和教育,基座 Molmo2-4B 用到的第三方数据集只允许学术和非商业研究。

所以这个协议标签只能看一半。想商用,得先把那串数据集的条款一条条翻完。模型卡还把范围划得很死:只管桌上挪积木,别的都算范围外,也没跑安全基准,理由是积木任务用不上。这很实在,也说明它是个试验台,不是产品。

放进机器人这条赛道,它算哪一档?

先看 Ai2 自己的路线。今年 5 月 5 日的 MolmoAct 2 走的是端到端,Molmo 2-ER 接一个用 flow matching 出动作的专家模块,配了 700 多小时的双臂数据。这回换了个思路,脑和手分开,手可以是规划器,也可以是学出来的策略,哪一层出毛病一眼能看出来。ToyBlocks 的 README 里就写着,任何一层都能换成“神谕”来定位失败出在哪,高层除了 Molmo2,还能接 Claude。

再看 Google。Gemini Robotics ER 2 在 7 月 30 日发布预览版,官方说基于 Gemini 3.5 Flash,走 Gemini API 调用;上一代 ER 1.6 已在 8 月 31 日停用。Google 把 ER 系列定位成机器人的高层大脑,和 Molmo2-4B-tb 站的是同一个位置。但一边是只能走 API 的通用模型,一边是权重能下载、只会摆积木的 4B 小模型,体量和野心都不在一档,硬拿数字比没有意义。机器人的“大脑”这块,大厂和研究所都在卷,只是卷的方向不同。

对写代码、做选型的读者,这条新闻的价值不在能不能拿来用,答案是不能。价值在那个套路:大模型定下一步,执行层真干活,成败常常卡在后者。做过 agent 的朋友应该不陌生:规划写得头头是道,工具一调就翻车。

我喜欢这次发布的地方,不在它能叠几块积木(对,就是你小时候搭了又倒的那种),而在 Ai2 把大脑、手和考场都摆上桌,能一层层拆开对账。机器人这行缺的就是这种东西。

我们 AI主线 接下来盯两件事:技术报告什么时候真出来,不再画饼;还有 Medium 和 Hard 两档里,手和脑的差距下一版能不能缩小。