指代分割是什么？根据一句话把图中对应的物体抠出来

指代图像分割（Referring Image Segmentation，RIS），也叫指代分割，是根据一句自然语言描述，在图像中分割出所指代的目标物体的任务。比如给一张多人合影和一句话“左边穿红色上衣的男孩”，模型需要准确地找到这个男孩，并精确地勾勒出他的轮廓，也就是给出一个像素级的分割掩码，而不只是画一个框。

为什么比普通的分割难

普通的语义分割和实例分割，只需要识别图像中的物体属于哪些预定义的类别，比如“人”“车”“狗”。指代分割则需要同时理解语言和图像，并把两者对应起来：它要理解描述中的各种细节，包括物体的类别（男孩）、属性（穿红色上衣）、位置关系（左边）、与其他物体的关系（站在狗旁边的那个），甚至动作（正在挥手的那个人），再在图像中找出唯一符合这些描述的目标。同一类物体在图中可能有很多个，模型必须依据描述把它们区分开来。这是一个典型的视觉和语言相结合的多模态任务。

技术发展

早期的方法通常分别用卷积神经网络提取图像特征、用循环神经网络提取语言特征，再把两者拼接融合，预测分割结果。后来，基于注意力和 Transformer 的方法成为主流，它们能更好地建模描述中的每个词和图像中每个区域之间的关系。近年来，借助像 CLIP 这样的大规模视觉语言预训练模型，以及多模态大语言模型和 SAM 等通用分割模型，指代分割的能力有了很大的提升：模型能理解更复杂、更开放的描述，甚至需要一定推理的描述，比如“图中最适合用来切菜的东西”，这类任务被称为推理分割。

更贴近现实：广义指代分割

以往的方法大多基于一个很强的假设：一句描述必然恰好指向图像中的一个目标。但在现实应用中情况往往并非如此：一句描述可能指向多个目标，比如“所有穿蓝衣服的人”；也可能根本不指向任何目标，比如在一张没有狗的照片里说“那只狗”。按照旧的假设训练的模型，遇到描述不指向任何目标时，往往会硬分割出一个错误的物体。因此研究者提出了广义指代分割（GRES）任务和相应的数据集，要求模型能处理指向多个目标和不指向任何目标的情况。

应用

指代分割可以用于根据语音或文字指令进行的图像编辑（“把左边那个人的背景换掉”）、人机交互、机器人抓取（“把桌上的红色杯子拿给我”）、视频编辑中的目标追踪，以及辅助视障人士理解图像内容等。