DexMimicGen 是什么？从少量人类示范自动生成大量双手机器人数据

DexMimicGen 是一个从少量人类示范中自动生成大量机器人训练数据的系统，由英伟达研究院、得克萨斯大学奥斯汀分校和加州大学圣地亚哥分校在 2024 年共同提出，论文标题是《DexMimicGen：通过模仿学习为双手灵巧操作自动生成数据》。它专门面向双臂、多指灵巧手的人形机器人操作任务。

机器人数据为什么稀缺

用模仿学习训练机器人，需要大量的示范数据：让人通过遥操作设备控制机器人，一遍遍地完成任务，记录下每一步的画面和动作。对于双臂加灵巧手的人形机器人来说，采集数据尤其困难：要同时控制两条手臂、两只多指手，操作者需要很高的技巧，录制一条示范就很费时费力，要采集成千上万条，成本非常高。

DexMimicGen 怎么做

DexMimicGen 的核心思路是用少量人工示范“变出”大量新示范。它基于此前的 MimicGen 方法，并扩展到了双手灵巧操作。具体来说，它先把一条人类示范按照物体的交互拆分成若干段，比如“左手拿起杯子”“右手拿起壶”“倒水”；当场景发生变化，比如物体的位置、朝向不同了，系统会根据新的物体位置，对每一段动作进行相应的空间变换，生成适合新场景的动作轨迹；然后在仿真环境中执行这些新轨迹，只保留成功完成任务的那些，作为新的训练数据。

双手操作带来了额外的挑战：两只手有时需要各干各的，有时需要严格配合，比如一只手扶住、另一只手拧开；有时两只手的动作有先后顺序的要求。DexMimicGen 专门设计了处理这些情况的机制，让生成的双手动作在时间和空间上都能正确地协调。

效果

论文报告，DexMimicGen 只用 60 条人类示范，就在仿真中生成了 2.1 万条示范数据，覆盖多种双手操作任务。用这些数据训练的策略，成功率比只用原始少量示范训练的策略大幅提升。研究团队还把这套方法用于真实世界的人形机器人，验证了从仿真到现实的迁移效果。这类数据生成方法，是缓解机器人领域数据瓶颈的重要手段。