全景分割是什么？同时分出“东西”和“物体个体”的图像分割

全景分割（Panoptic Segmentation）是一项计算机视觉任务，要求对图像中的每一个像素都进行标注：既要标出它属于什么类别，又要区分出它属于哪一个具体的物体个体。这个任务由 Facebook 人工智能研究院的 Alexander Kirillov、何恺明等人在 2018 年提出。“Panoptic”一词意思是“全景的、一览无余的”，意味着要对整个场景有完整、统一的理解。

先说两种传统的分割任务

语义分割：给图像中的每一个像素标注一个类别，比如这些像素是“人”，那些像素是“车”，那些是“道路”。但它不区分个体：画面中有三个人，语义分割只会把三个人的像素都标成“人”，看不出有几个人、谁是谁。实例分割：检测出图像中的每一个物体个体，并精确地勾勒出它的轮廓，比如“这是第一个人”“这是第二个人”“这是第一辆车”。但它通常只关注那些可以数的“物体”，对于天空、道路、草地这类没有明确个体边界的背景，就不处理了。

全景分割把两者统一起来

全景分割把图像中的内容分成两类：一类叫“物体”（things），是可以数清楚个数的东西，比如人、车、动物、杯子；另一类叫“背景材质”（stuff），是没有固定形状、无法计数的区域，比如天空、道路、草地、墙壁、水面。全景分割的要求是：图像中的每一个像素都必须被分配一个类别标签；对于“物体”类，还要额外区分出它属于哪一个个体，给出一个实例编号；对于“背景材质”类，只需要标注类别。而且，每个像素只能属于一个类别和一个实例，不能重叠。这样，就得到了对整个场景完整而统一的理解：画面中有什么背景，有几个什么样的物体，它们各自在哪里。

为了评价全景分割的效果，论文还提出了一个统一的评价指标：全景质量（PQ），同时衡量分割的准确程度和识别的正确程度。

技术和应用

早期的方法通常把语义分割网络和实例分割网络的结果合并起来；后来出现了统一的端到端模型，比如 Panoptic FPN、Mask2Former 等，用一个模型同时完成所有任务。全景分割对于需要完整理解场景的应用特别重要：自动驾驶需要同时知道哪里是可行驶的道路、周围有几辆车、几个行人以及它们各自的位置；机器人需要理解所处的环境；它也被应用于增强现实、医学影像分析、遥感图像解译和视频编辑等领域。