NovaFlow 是什么？看一段生成视频就学会新操作的机器人框架

NovaFlow 是一个让机器人零样本完成新操作任务的框架，由布朗大学和机器人与人工智能研究所的研究人员在 2025 年 10 月提出，论文标题是《NovaFlow：通过生成视频中的可执行流实现零样本操作》。

要解决的问题

让机器人零样本执行全新的操作任务，也就是不经过专门训练、不看任何示范就能完成，是机器人学的一个核心目标。论文指出，大多数现有方法要么假设任务和训练时的类似，要么需要用和目标机器人形态一致的数据做微调，这限制了它们在不同机器人平台之间的迁移。

NovaFlow 的流程

NovaFlow 能把一段任务描述，直接转换成目标机器人可以执行的动作计划，不需要任何示范。它分几步：

第一，给定任务描述，比如“把杯子挂到架子上”，用视频生成模型合成一段视频，展示这件事被完成的过程。视频生成模型从海量网络视频中学到了物体通常是怎么被操作的。

第二，用现成的感知模块分析这段视频，把它提炼成三维的“可执行物体流”：也就是被操作的物体在三维空间中应该怎样移动、转动。关键在于，提炼的是物体的运动，而不是视频中人手或机器人的动作，所以和执行者的形态无关。

第三，根据物体流，为目标机器人计算出具体的动作。对于刚性物体，可以算出物体的位姿变化，再规划机械臂的轨迹；对于可形变的物体，比如布料和绳子，则用基于物体流的规划方法。

意义

这种“想象任务完成的样子，再照着做”的思路，把视频生成模型里蕴含的大量物理和操作常识，转化成了机器人的能力。因为中间表示是物体的运动而非具体的机器人动作，同一套方法可以迁移到不同的机器人上。论文在多种机器人平台和刚性、铰接、可形变物体的任务上验证了零样本的效果。