PolarMask: Single Shot Instance Segmentation with Polar Representation

论文链接:https://arxiv.org/pdf/1909.13226.pdf CVPR2020oral

代码链接:https://github.com/xieenze/PolarMask

主要思想:提出了一种用极坐标建模的实例分割方法,即将实例分割转化为实例中心分类问题和实例轮廓极坐标回归问题,即文中描述的formulates the instance segmentation problem as predicting contour of instance through instance center classification and dense distance regression in a polar coordinate.借鉴FCOS[https://blog.csdn.net/breeze_blows/article/details/103417324}提出Polar Centerness,另外Polar IoU Loss用于mask的loss,进一步提升了性能。

看下图会非常的清楚,PolarMask只用对实例的重心进行分类(文中对采用重心还是box的中心做了对比试验,发现重心更好),和回归以重心向外放射的射线,实验中取36条。刚好每十度一条射线,一共360度。

其实作者[https://zhuanlan.zhihu.com/p/84890413]也说过是基于FCOS,FCOS可以看成PolarMask的特殊形式,而PolarMask可以看作FCOS的通用形式,因为bbox本质上是最简单的Mask,只有0,90,180,270四个角度回归长度。

网路结构跟FCOS或者说Retinanet[https://blog.csdn.net/breeze_blows/article/details/103268683]是很像的,resnet的backbone,FPN作为Neck,最后head由三部分组成,Classification用于对实例重心进行分类,Polar Centerness用于对正样本进行加权以定义更高质量的正样本。Mask Regression用于回归最终实例的轮廓极坐标。

更好的建模效果,文中提出了Polar Centerness和Polar IoU Loss用于定义更高质量的正样本和回归最后的实例contour。

首先是对于Polar Centerness,用来对预测的各个mask进行打分,有点类似于FCOS里面的Centerness。

其中d表示的是n条射线的长度,其实loss表达的就是用射线的最小值除以最大值,polar centerness越大就表示各个射线长度差不多,该mask就越好。就像下图中最右边的mask就比中间的好

对于Polar IoU Loss用来计算预测的mask和真实的mask之间的loss,如下图所示

经过作者的简化

另外还需要明确一个问题就是正样本的选择,在论文中作者采用了两种方式界定正样本,首先用gt_mask计算出每个mask的重心,和该gt_mask的36条射线,这里多补充一点:在计算mask的36条射线的时候,是从0度开始,每隔10度向mask发射一条射线,如果这条射线与mask有多个交点就取最长的,如果没有交点,取该度数左右-3度到1度,如果还是没有就取一个很小的常数作为射线的长度1e-6,下图附上射线的选取方式。

对于正样本的选取,首先是算出各个gt_mask的重心之后,在单个的feature map上面,具体是在重心的1.5*stride范围内的点被认为是正样本,这里的stride对应的是feature的步长。然后就是考虑FPN不同feature level的分配,这个做法就和FCOS的差不多了,其实就是计算feature map上面每个点到gt_box四条边的距离,l,t,r,b. 然后求四个距离的最大值

一共有五个level,所以依次设置m为(0,64,128,256,512,\infty),如果满足就可以是该FPN level上面的正样本。

文中也做了很多的消融实验

射线数目越多越好

polar IOU比smooth L1好

polar centerness比FCOS里面的centerness好

 选取重心比box的中心好

最后,polarmask是一种新的建模方法,但是对于一些精细的分割其实表现得不友好,有些凹形状的也不太友好,但是总体感觉不错的,附上作者的解读https://zhuanlan.zhihu.com/p/84890413,感觉很详细 

猜你喜欢

转载自blog.csdn.net/breeze_blows/article/details/106482869
今日推荐