数字表亲是什么？用“相似”而不是“一模一样”的虚拟场景训练机器人

数字表亲（Digital Cousin）是一种为机器人训练生成虚拟场景的新思路，由斯坦福大学李飞飞教授领导的团队在 2024 年提出，论文标题是《ACDC：自动创建数字表亲以实现鲁棒的策略学习》。ACDC 是 Automatic Creation of Digital Cousins 的缩写。

从数字孪生说起

在仿真环境中训练机器人，比在真实世界中试错便宜、安全、快得多。一种常见的做法是构建“数字孪生”：在仿真中把真实的场景一比一地复刻出来，每个物体的形状、位置、材质都和现实一模一样。但数字孪生有两个问题：一是构建成本高，需要精确的扫描和建模，每换一个场景都要重新做一遍；二是它只对应一个特定的场景，在这个孪生场景中训练出来的机器人，换到一个稍有不同的真实场景，比如家具换了个款式、摆放位置变了，就可能失灵，泛化能力差。

数字表亲的思路

数字表亲不追求与真实物体的一一对应，而是关注相似的几何和语义特征。就像表亲之间长得相像但不完全一样：一个真实厨房的数字表亲，可能用的是另一款橱柜、另一个型号的冰箱，但整体的布局、物体的种类和大致的形状都是相似的。

ACDC 系统能自动地从一张真实场景的照片出发，生成一组数字表亲：先用视觉模型识别出场景中有哪些物体、它们的位置和大致形状；然后从一个大型的三维资产库中，为每个真实物体找出若干个几何和语义上相似的虚拟物体；再按照真实场景的布局，把这些物体组合起来，生成多个不同的仿真场景。整个过程是自动化的。

为什么更好

在一组相似但各不相同的数字表亲中训练，机器人见到了更多的变化，学到的是这类场景共同的规律，而不是某一个特定场景的细节，因此泛化能力更强。论文报告，在数字表亲中训练的策略，迁移到真实世界时的成功率，与在精确的数字孪生中训练的策略相当，而且面对场景变化时更加鲁棒。同时，因为不需要精确复刻，构建场景的成本也大大降低。这为大规模、低成本地生成机器人训练数据提供了一种新方法。