Weakly Supervised Learning of Instance Segmentation with Inter-pixel Relations

摘要

图像级类标签为监督的实例分割学习新方法
生成训练图像的伪实例分割标签,用于训练一个全监督模型
对于生成伪标签,首先从图像分类模型的注意图中识别出对象类的可信种子区域,并传播它们以发现具有精确边界的整个实例区域。
为此,我们提出了IRNet,估计单个实例的粗略区域,并检测不同对象类之间的边界。
因此,它能够为种子分配实例标签,并在边界内传播它们,以便能够准确地估计实例的整个区域。
此外,IRNet使用注意图上的像素间关系进行训练,因此不需要额外的监督
在这里插入图片描述

IRNET

网络结构:采用backbone为resnet50
边框图由各层级组成
在这里插入图片描述

从CAM中挖掘信息

在这里插入图片描述
通过CAM来预测像素信息
在这里插入图片描述
M为类别注意力图
i,j为像素对

位移场

两个像素点是否属于同一实列
这里还没有特别看懂,感觉大概意思是学习两个像素点之间的位置信息
前景损失函数:
在这里插入图片描述
背景损失函数:
在这里插入图片描述

边界探测

关键假设:类边界存在于具有不同伪类标签的一对像素之间
在这里插入图片描述
通过最小化二元affinity标签的独热向量与预测的affinity之间的交叉熵来学习affinity:
在这里插入图片描述

在这里插入图片描述
将CAMs与类不可知实例映射结合起来:
在这里插入图片描述
每个按实例划分的CAM都是通过将其注意力分数传播到相关区域来单独细化的。其中,传播采用随机游走,其转移概率矩阵由语义亲和矩阵A = [aij]∈Rwh×wh导出:
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_45745941/article/details/129852630