[SGN]SGN: Sequential Grouping Networks for Instance Segmentation

版权声明:新建了专注于语义分割的QQ群704803384,欢迎交流!!! https://blog.csdn.net/u014451076/article/details/79560163

Abstract

香港中文大学ICCV 2017的文章

实例分割是一个结合了物体检测和语义分割的任务,物体遮挡和数量差异大的物体是实例分割中的主要困难。本文考虑到实例分割的困难性,提出将这个复杂的任务用一系列神经网络来解决,其中每个神经网络的左右都是将该程度下的语义信息进行聚集,从而使用简单的结构逐渐构造物体实例。其中,第一个网络在图片的水平和竖直方向生成断点,接着使用一种算法将点连接成先,第二个网络将线组成组件,第三个网络将组件融合起来成为最后的实例分割结果。由于采用的是一些列的聚类网络(Sequential Grouping Networks, SGN),所以网络命名为SGN.

Framework

1

主要分为四步:
1. 预测断点
2
基于VGG16的deeplab-largeFOV,修改网络的输出,输入为一张图片,输出为每个像素有4个标签:背景、内部、起点、终点。分别计算水平方向和垂直方向。
2. 将断点聚合成线分割
3
这里直接使用扫描的方法,填充区域,形成所有的线
3. 将线连接成组件
4
这里使用LineNet, 输入9通道,输出是线所属的组件分割好的图片
4. 融合组件形成实例
5
由于实例可能包含不同的组件,许多对以上生成的组件进行融合,使用MergeNet,输入是10通道,输出最终的结果.

Result

在Cityscapes和Pascal VOC2012上进行实验,结果如下
6
7
在两个数据集上的实例分割任务中均达到了SOTA.

Other

从另一个思路处理分割问题,不是单纯地使用简单的一个深度网络,而是从图像的认知过程进行分阶段处理。
未开源

猜你喜欢

转载自blog.csdn.net/u014451076/article/details/79560163
今日推荐