BoundaryCAM: A Boundary-based Refinement Framework for Weakly Supervised Semantic Segmentation of Medical Images
摘要
- 大多数最先进的技术缺乏对嵌入在图像中的几何特征的理解，因为网络不能仅从图像级标签获得任何对象边界信息
- 本文将边界定义为分隔一个对象及其背景或两个不同对象的线
- BoundaryCAM：部署了最先进的类激活映射，并结合各种后处理技术，以实现细粒度更高精度的分割掩码。一种最先进的无监督语义分割网络，该网络可用于构建边界图，使BoundaryCAM能够预测具有更清晰边界的物体位置。
效果如图：
本文方法
首先，基于Quickshift 和SLIC算法，使用无监督分割(USS)网络将图像像素聚类为更大的组
其次，使用训练过的分类器来生成一个CAM，基于来自USS的集群，针对给定输入图像中的每个类，作为一个初步的分割掩码，
然后，BoundaryFit模块将两者结合起来，为图像中的每个对象生成细化的分割掩码。如果有必要，这些伪标签随后可以用来训练一个完全监督的分割网络，以提高其精度
无监督分割检测
本文方法侧重于将CAM预测预细化到掩模内最近的边缘，以减少模型对假阳性像素预测的识别
使用USS网络生成一个有用的边缘映射，将图像分解为更简单的部分。
USS将相似的像素聚类在一起，删除输入图像中不重要的细节，给我们留下一个不那么详细的图像。
USS方法由两个具有ReLU的卷积层、批标准化、连续性损失和相似性损失组成。
- 连续性损失阻止网络使用任意数量的像素簇，并使用用户自定义的最大值q来约束它们。
- 相似性损失鼓励网络只在特征空间中聚类彼此接近的像素。
对于BoundaryCAM框架，我们使用SLIC和Quickshift作为连续性损失，并执行扩展的超参数搜索来生成合适的简化图像。
聚类过多的像素会使物体与背景融合，而聚类过少的像素则不能充分简化图像。
Class Activation Map - CAM
- 首先在目标数据集上训练一个传统的分类器模型
- 随后由GradCAM 使用该模型提取从USS阶段获得的每个输入边缘图的响应图
- 每个类n生成的分割掩码一起考虑为初始响应映射，定义为MCAM:= {M0CAM, M1CAM，…， MnCAM}
- 原始的CAM预测突出显示最具鉴别性的对象部分和它们周围的大量背景像素，本文CAM的初始响应映射覆盖了图像的很大一部分，以确保完整的对象和一些背景像素都在里面
BoundaryFit模块
一旦我们成功生成了边缘图，我们可以将其作为一个额外的监督源，它为我们提取相关边界提供了几何指导。因此，我们可以将它与CAMs的初始响应映射结合起来，后者通常以添加许多背景像素为代价捕获完整的对象。接下来，结合从前一阶段获得的边缘图和Floodfill算法，我们成功地从掩模中去除一些不相关的背景像素。
Floodfill算法通过从初始响应映射中的任何负像素(x, y)开始，然后将属于同一簇的所有像素也变为负像素(x, y)来实现这一点。请注意，我们将集群定义为边缘映射IEM中边界封闭的区域内的像素集（IEM是通过无监督的方法获取的集合），包括划分图像边界的像素。
由于一些像素簇也到达CAM预测，只有完全在CAM掩模内的像素簇将保持正的。我们将此步骤定义如下:
实验结果
总结
- 提出了新的BoundaryCAM框架，在CAM和最终的FSSS模型之间引入了一个新的BoundaryFit模块，以实现更精细的分割掩模，这可以用来提高模型的整体精度。
- BoundaryFit模块通过使用无监督语义分割模型提供了额外的显著性，该模型细化了CAM预测，为最先进的FSSS模型获得更高质量的训练标签。
- BoundaryFit模块可以整合到任何现有的WSSS框架中，以提高其预测的质量，如三个真实世界的医学成像数据集所示。