Panoptic Segmentation全景分割

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hajungong007/article/details/86596305

paper

keyPoint

  • 概念:
    • things - 可数的 objects (countable obects),如 people, animals, tools 等。
    • stuff - 相同或相似纹理或材料的不规则区域,如 grass,sky,road 等的关注较少。
      在这里插入图片描述
  • 新的任务场景 - 全景分割 Panoptic Segmentation(PS)
    • 全景(panoptic) - 对视野内所有物体进行描述”including everything visible in one view”。
    • 全景分割 - 图片内的每个像素都必须分配 semantic label 和 instance id. 如 Figure 1d。
      相同 label 和相同 id 的像素属于相同 object;忽略 stuff labels 的 instance id。
  • 全景分割与实例分割,语义分割的不同:
    • 对比语义分割,全景分割需要区分不同的 object instances;对于 FCN-based 方法具有挑战性。
    • 对比实例分割,全景分割必须是非重叠的(non-overlapping);对于 region-based 方法具有挑战性。
    • 全景分割需要同时识别 stuff 和 things。

与语义分割区别

  • 相同之处:
    • 均需要对图像的每个像素设定 semantic label。
    • 如果 groundtruth 未指定 instances 信息,或者所有的 categories 都是 stuff,二者相同。
  • 不同之处:
    • 当有 thing categories 时,图片中有多个 instances 时,则二者有区别。

与实例分割区别

  • 实例分割 - 对图片中的每个 object 进行分割,允许 objects 重叠(overlapping);
  • 全景分割 - 图片每个像素只有一个 semantic label 和 一个 instance id 不允许重叠。

Confidence scores

  • 类似于语义分割,而不同于实例分割,全景分割不需要每个 segment 的confidence scores。

参考:https://blog.csdn.net/zziahgf/article/details/79063398

猜你喜欢

转载自blog.csdn.net/hajungong007/article/details/86596305