UniSeg3D 是什么？一个模型做六种三维点云分割任务

UniSeg3D 是一个统一的三维场景理解框架，由华中科技大学的研究人员在 2024 年提出，论文标题是《三维场景理解的统一框架》，发表于 NeurIPS 2024。它能在同一个模型内完成六种不同的三维点云分割任务。

三维点云和分割

点云是用激光雷达、深度相机等设备扫描真实环境得到的三维数据，由大量带有坐标的点组成，可以描述一个房间、一条街道的三维结构。三维点云分割，就是给这些点标注它们属于什么：这片点是地板，那片点是椅子，这几个点是第二把椅子。它是机器人、自动驾驶、增强现实理解三维环境的基础。

六种分割任务

UniSeg3D 统一的六种任务包括：全景分割，同时区分每个点的类别和属于哪一个具体物体；语义分割，只标注每个点的类别，比如“椅子”；实例分割，把同一类别的不同个体区分开，比如“第一把椅子”“第二把椅子”；交互式分割，用户点击某个位置，模型分割出被点击的物体；指代分割，根据一句文字描述，比如“窗边那把棕色的椅子”，分割出对应的物体；开放词汇分割，能分割训练时没见过的类别。

为什么要统一

以往，这些任务通常由各自独立的专门模型来完成，需要分别训练和部署，模型之间也无法共享知识。UniSeg3D 用一个模型处理所有任务：不同的任务通过不同类型的查询输入模型，比如可学习的类别查询、用户点击生成的查询、文字描述生成的查询，共享同一个三维特征提取和解码的主干网络。研究者还设计了促进任务之间知识共享的机制，比如利用交互式分割中用户给出的明确位置信息，帮助提升其他任务的效果；用对比学习把文字和三维特征对齐。

效果

论文报告，UniSeg3D 在 ScanNet20、ScanRefer、ScanNet200 等多个基准上，在六种任务中都超过了当时最好的专门方法。一个模型就能完成多种三维理解任务，降低了部署成本，也展示了多任务之间相互促进的效果。