VeBrain 视觉具身大脑是什么？让多模态大模型直接控制机器人

视觉具身大脑（Visual Embodied Brain，VeBrain）是一个让多模态大模型统一完成看、想和控制机器人的框架，由上海人工智能实验室联合多个团队在 2025 年提出，论文标题是《视觉具身大脑：让多模态大模型在空间中看、思考和控制》。

难点：大模型擅长理解，不擅长控制

多模态大模型很擅长看图、理解场景和推理，但让它直接控制机器人却很难。传统的机器人控制涉及复杂的传感器输入、运动规划和动力学建模，属于低层或中层的工程控制问题，需要输出精确的关节角度、速度这类连续的数值，这和大模型输出文字的方式差距很大。如果硬要用机器人数据去训练大模型输出控制信号，往往会损害它原本的理解和推理能力。

VeBrain 的思路：把控制变成看图说话

VeBrain 的创新在于，它把原本复杂的机器人控制问题，转化为多模态大模型擅长的、在二维视觉空间里完成的文字任务。比如不让模型直接输出机械臂的关节角度，而是让它在摄像头画面上指出“应该抓取的那个点在哪里”“机器人接下来应该移动到画面中的哪个位置”，以及要执行什么动作。这样，感知、推理和控制三种任务的目标统一成了同一种形式，大模型可以用同一套能力来完成。

然后，VeBrain 用一个机器人适配器，把大模型输出的这些文字形式的控制信号，转换成真实机器人的运动策略：把画面上的点映射到三维空间，再交给底层控制器去执行。研究团队还构建了一个大规模的高质量指令数据集 VeBrain-600k，覆盖了感知、推理和控制等多种能力，用于训练模型。

效果

论文报告，VeBrain 在多模态理解、空间推理等基准上保持了很强的能力，同时在真实机器人的控制任务上，比如四足机器狗和机械臂的操作，表现出了明显的优势，展示出比已有方法更好的适应性和组合能力。这是让通用多模态大模型直接成为机器人“大脑”的一次有代表性的尝试。