本文首发于微信公众号 CVHub，严禁私自转载或售卖到其他平台，违者必究。
Title: Self-aware and Cross-sample Prototypical Learning for Semi-supervised Medical Image Segmentation
Paper: arxiv.org/pdf/2305.16…
导读
本文介绍了一种用于半监督医学图像分割的新方法。在医学图像分割中，由于标注数据有限而未标注数据丰富，一致性学习在有效利用有限标注数据的同时，利用未标注数据起到了重要作用。然而，作者认为现有研究常常忽视了以下两大因素对一致性学习的影响，即：
- 预测多样性
- 训练稳定性
同时，有限的标注数据对于构建类内紧密性和类间差异性的伪标签往往是不足的。
为了解决这些问题，论文提出了一种自感知和跨样本原型学习方法（SCP-Net），通过利用多个输入导出的更广泛的语义信息，增强一致性学习中预测的多样性。此外，引入了一种自感知的一致性学习方法，利用未标注数据改进了每个类别内伪标签的紧密性。此外，作者还将双重损失重新加权方法整合到跨样本原型一致性学习方法中，提高了模型的可靠性和稳定性。
最终，在ACDC和PROMISE12数据集上进行了大量实验证明，SCP-Net优于其他最先进的半监督分割方法，并与有限的监督训练相比取得了显著的性能提升。
动机
上面我们简单提到，本文主要是通过引入自感知和跨样本类别原型，增强了一致性学习中预测结果的多样性。传统的方法使用全局原型，而SCP-Net使用自感知和跨样本原型，产生两种不同的原型预测结果，以增强语义信息交互并确保一致性训练中的不一致性。
同时，论文利用自感知原型预测与多个预测结果之间的预测不确定性，对跨样本原型的一致性约束损失进行重新加权。通过这样做，可以减少在低对比度区域或粘附边缘等具有挑战性区域中标签噪声的不利影响，从而实现更稳定的一致性训练过程，提高模型的性能和准确性。
方法
可以看出，这个框架是一个非常典型的U-Net架构，核心点在于对数据的有效利用上，因此我们仅需要关心SPCC和CPCC模块即可。
SPCC
自感知原型一致性约束（SPCC）旨在增强分割预测的类内紧密性。它利用自我知原型预测作为伪标签进行监督。通过使用自感知原型，该方法能够在样本本身上对特征进行更准确的对齐，从而确保预测的类内一致性。通过引入这个约束，模型可以更好地学习到类别内部的共性特征，提高分割性能。
CPCC
跨样本感知原型一致性约束（CPCC）旨在从其他训练样本中获得可靠的知识。它采用双重加权方法，通过考虑不确定性估计和自感知概率预测来调整约束的贡献。
首先，使用不确定性估计来降低可疑伪标签的影响，减少这些具有较大不确定性的区域在训练中的权重。其次，引入自感知概率预测，计算在特定类别上的最大值作为权重，进一步增强CPCC的可靠性。通过这种双重加权方法，CPCC能够更好地利用跨样本的原型预测来提升分割模型的性能和稳定性。
Loss
通过上述两个约束模块的引入能够增强预测的多样性和训练的有效性，并减轻噪声预测的负面影响，从而提高半监督分割的性能。最后，我们可以引申出最终的约束表达式：
总的来说，SCP-Net的损失函数由监督损失和无监督一致性损失的组合，其中监督损失是有交叉熵损失函数和Dice损失函数组合而成的复合函数构成，用于监督标记数据的训练过程。另一方面，对于标记数据和未标记数据，作者利用
和
提供无监督的一致性约束，用于网络训练并探索有价值的未标记知识。
此外，这里还使用到一个时间依赖的高斯预热函数的权重，用于平衡监督损失和无监督损失。通过使用这个权重函数，可以在训练过程中逐渐平衡监督损失和无监督损失的贡献。
实验
对于ACDC数据集，与有限监督基线相比，SCP-Net在RV、Myo和LV的Dice相似系数（DSC）上分别提高了7.02％、6.13％和6.32％，并且在DSC和平均表面距离（ASSD）上与完全监督基线相当。与其他方法相比，SCP-Net在DSC和ASSD上取得最佳效果，分别比第二名高出1.58％和0.24。此外，通过ACDC数据集的可视化示例，SCP-Net展示了对RV、Myo和LV类别的一致且准确的分割结果，证明了无监督的原型一致性约束对于提取有价值的未标记信息以改善分割性能的有效性。
对于前列腺分割的实验结果，SCP-Net在10％标记比例下超越了有限监督基线，并且在DSC指标上提高了16.18％，ASSD指标上提高了10.35。SCP-Net的DSC达到了77.06％，比第二名的CCT高出5.63％。这些改进结果表明，SPCC和CPCC对于利用未标记信息具有积极的作用。
通过消融实验可以看出SCPNet设计的有效性。SPCC和CPCC的设计促进了半监督分割性能的提升，并通过预测不确定性和自感知置信度的整合改善了一致性训练的可靠性和稳定性。
总结
本文提出了一种新颖的方法SCP-Net，通过自感知和跨样本原型学习，改进了半监督医学图像分割中的一致性学习方法。实验结果表明，该方法在利用有限标注数据的情况下，能够取得比其他最先进的半监督方法更好的分割性能。
CVHub是一家专注于计算机视觉领域的高质量知识分享平台，全站技术文章原创率达99%，每日为您呈献全方位、多领域、有深度的前沿AI论文解决及配套的行业级应用解决方案，提供科研 | 技术 | 就业一站式服务，涵盖有监督/半监督/无监督/自监督的各类2D/3D的检测/分类/分割/跟踪/姿态/超分/重建等全栈领域以及最新的AIGC等生成式模型。关注微信公众号，欢迎参与实时的学术&技术互动交流，领取CV学习大礼包，及时订阅最新的国内外大厂校招&社招资讯！