视觉语言动作模型 VLA 是什么？让机器人看懂、听懂、动手

视觉语言动作模型（Vision-Language-Action，VLA）是能直接输出机器人动作的多模态模型。它把三种能力融合在一起：看（视觉感知，理解摄像头拍到的场景）、听（语言理解，理解“把桌上的红色杯子放进水槽”这样的指令）、做（动作控制，输出机械臂和夹爪应该怎么移动）。VLA 通过端到端的学习，直接从视觉输入和语言指令生成机器人可以执行的动作序列。

和传统机器人控制的区别

传统的机器人系统通常是模块化的：一个模块识别物体，一个模块规划路径，一个模块控制电机，每个模块都要专门设计，换一个任务往往要重新开发。VLA 的思路是借鉴大模型的成功：在大量机器人数据和互联网图文数据上训练一个统一的模型，让它把从网上学到的常识和语言理解能力，迁移到机器人的动作上。这样，机器人就能理解开放式的指令，在没见过的物体和场景里也有一定的应对能力。

代表性工作

谷歌 DeepMind 在 2023 年发布的 RT-2 是 VLA 概念的代表作，它在视觉语言模型的基础上，把机器人动作也表示成 token，和文字一起训练，展示了把网络知识迁移到机器人控制上的能力。此后，开源的 OpenVLA、Physical Intelligence 的 π0 系列、英伟达的 GR00T 等相继出现，国内的多家机器人公司和研究机构也推出了自己的 VLA 模型。动作的生成方式也从“把动作离散成 token”发展到用扩散模型、流匹配来生成连续、平滑的动作。

挑战

VLA 在语义上的泛化不错，能理解新的物体和指令，但在新环境中执行没见过的物理动作时，泛化能力仍然有限，这也是世界动作模型（WAM）等新方向试图解决的问题。此外，机器人训练数据稀缺且采集昂贵，模型推理速度需要满足实时控制，真实环境中的安全性要求也很高。VLA 被视为实现通用具身智能的关键路径之一，家庭服务、工业操作、物流分拣是它的主要目标场景。