「Computer Vision」Note on Interactive Full Image Segmentation

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/dgyuanshaofeng/article/details/84865335

QQ Group: 428014259
Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/84865335

作者：Eirikur Agustsson, Jasper R. R. Uijlings, Vittorio Ferrari
单位：Google Research

Jasper R. R. Uijlings [Google Scholar]，大家可能比较熟悉，就是Selective Search的作者。

0 摘要

解决交互全图标注任务，该任务的目标是生成所有object和stuff区域的分割图。属于scribble方法，即画粗线、涂鸦。改编Mask R-CNN。在4个extreme clicks和个改正的scribbles每区域，所提出方法可提升5%IoU，接近90%的IoU。

1 介绍

提到标注成本，Cityscapes每一图像需要1.5小时，COCO+stuff每一图像需要19分钟。提到scribble corrections比click correstions更为自然。

2 相关工作

交互全图分割 提及Fluid Annotation

3 作者的交互分割模型

主要包含从extreme points生成分割图，然后利用scribble corrections嵌入Mask R-CNN中，生成校正的分割图。

3.1 模型结构

改编的Mask R-CNN，由接收单一RGB输入，变为接收3种输入信息。第一种就是RGB图像，第二种就是extreme points和scribble corrections生成的标注图，假设 $\text S_{1},...,\text S_{N}$，第三种就是，由extreme points决定的包围盒box，假设 $\text b_{1},...,\text b_{N}$。N为标注者想要把图分割成N个区域。

[1] Interactive Full Image Segmentation 2018 [paper]