2017

What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?

code: https://paperswithcode.com/paper/what-uncertainties-do-we-need-in-bayesian

摘要：我们可以建模两种不确定性。天文不确定性捕捉了观测中固有的噪声。另一方面，认知的不确定性解释了模型中的不确定性——给出足够的数据，不确定性可以被解释。传统上，在计算机视觉中很难模拟认知的不确定性，但有了新的贝叶斯深度学习工具，这现在是可能的。我们研究了在视觉任务的贝叶斯深度学习模型中建模认知和任意不确定性的好处。为此，我们提出了一个结合输入相关的任意不确定性和认知不确定性的贝叶斯深度学习框架。我们研究了在每像素语义分割和深度回归任务的框架下的模型。此外，我们的显式不确定性公式导致了这些任务的新的损失函数，这可以解释为学习衰减。这使得损失对噪声数据更加鲁棒，也在分割和深度回归基准上提供了新的最先进的结果。
在这里插入图片描述

2019

PHiSeg: Capturing Uncertainty in Medical Image Segmentation

code: https://github.com/baumgach/PHiSeg-code

摘要：解剖结构和病理的分割本质上是模糊的。例如，结构边界可能不清晰可见，或者不同的专家可能有不同的注释风格。目前大多数最先进的方法都没有解释这种歧义，而是学习了从图像到分割的单一映射。在这项工作中，我们提出了一种新的方法来建模的条件概率分布的分割给定一个输入图像。我们推导了一个层次概率模型，其中单独的潜在变量负责建模在不同分辨率的分割。该模型中的推理可以使用变分自编码器框架有效地执行。我们表明，与最近的相关工作相比，我们提出的方法可以用来生成更多的时候，更真实和多样化的分割样本。
在这里插入图片描述

2020

An Uncertainty-Driven GCN Refinement Strategy for Organ Segmentation

code: https://github.com/rodsom22/gcn_refinement

摘要： CT体积中的器官分割是许多计算机辅助干预和诊断方法中重要的预处理步骤。近年来，卷积神经网络已经主导了这项任务的技术水平。然而，由于器官形状的高度变异性和组织之间的相似性，这个问题提出了一个具有挑战性的环境，在输出分割中产生假阴性和假阳性区域是一个常见的问题。最近的研究表明，该模型的不确定性分析可以为我们提供关于分割中潜在错误的有用信息。在此基础上，我们提出了一种基于不确定性分析和图卷积网络的分割细化方法。我们利用卷积网络在特定输入量中的不确定性水平来建立一个半监督的图学习问题，该问题通过训练一个图卷积网络来解决。为了测试我们的方法，我们改进了一个二维U-Net的初始输出。我们用NIH的胰腺数据集和医学分割十项全能的脾脏数据集验证了我们的框架。我们表明，我们的方法优于最先进的CRF细化方法，提高了1%的胰腺和脾脏的骰子分数，相对于原始的预测。最后，我们对我们的建议的参数进行了敏感性分析，并讨论了该模型对其他CNN架构的适用性、结果以及目前的局限性，以便于未来的研究方向的工作。
在这里插入图片描述

Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation

code: https://paperswithcode.com/paper/rectifying-pseudo-label-learning-via

摘要：本文研究了在语义分割中将知识从源域转移到目标域的无监督域自适应。现有的方法通常以伪标签为基础，以充分利用未标记的目标域数据。而目标域数据的伪标签通常是由在源域上训练的模型来预测的。因此，由于训练域和测试域之间的差异，生成的标签不可避免地包含不正确的预测，这可以转移到最终适应的模型中，在很大程度上影响训练过程。为了克服这一问题，本文提出了在训练过程中显式估计的预测不确定性，以纠正无监督语义分割自适应的伪标签学习。给定输入图像，模型输出语义分割预测以及预测的不确定性。具体来说，我们通过预测方差对不确定性进行建模，并将不确定性纳入优化目标。为了验证该方法的有效性，我们在两个流行的合成到真实语义分割基准，即GTA5→城市景观和同步→城市景观，以及一个跨城市基准，即城市景观→牛津机器人车。通过大量的实验，我们证明了（1）方法根据预测方差动态设置不同的置信阈值，（2）对噪声伪标签学习进行校正，（3）比传统的伪标签学习取得了显著的改进，在所有三个基准上都产生了具有竞争力的性能。
在这里插入图片描述

2021

Is segmentation uncertainty useful?

摘要：概率图像分割编码不同的预测置信度和分割问题中固有的模糊性。虽然不同的概率分割模型被设计用来捕捉分割的不确定性和模糊性的不同方面，但这些建模的差异很少在不确定性的应用背景下进行讨论。我们考虑了分割不确定性的两个常用用例，即分割质量的评估和主动学习。我们考虑了四种已建立的概率分割策略，讨论了它们的建模能力，并研究了它们在这两个任务中的性能。我们发现，对于所有的模型和两个任务，返回的不确定性与分割误差呈正相关，但不能证明对主动学习有用。

在这里插入图片描述

Uncertainty-Based Dynamic Graph Neighborhoods For Medical Segmentation

code: https://paperswithcode.com/paper/uncertainty-based-dynamic-graph-neighborhoods

摘要：近年来，基于深度学习的方法在分割等基本的医学图像分析任务中取得了成功。后处理和细化分割结果是减少分割网络产生的错误分类的一种常见做法。除了广泛使用的方法，如条件随机场(CRFs)，专注于分割的体积/区域的结构，最近一种基于图的方法利用图中的某些和不确定点，并根据小图卷积网络(GCN)对分割进行细化。然而，该方法有两个缺点：图中的大部分边都是随机分配的，而GCN则是独立于分割网络进行训练的。为了解决这些问题，我们根据特征距离定义了一种新的邻居选择机制，并在训练过程中将两个网络结合起来。根据从计算机断层扫描(CT)图像中进行的胰腺分割的实验结果，我们证明了在定量措施方面的改进。此外，检查由我们的方法创建的动态邻居，观察到语义相似的图像部分之间的边缘。所提出的方法也显示了在分割图上的定性增强，如视觉结果所示。
在这里插入图片描述

UACANet: Uncertainty Augmented Context Attention for Polyp Segmentation

code: https://paperswithcode.com/paper/uacanet-uncertainty-augmented-context

摘要：我们提出了不确定性增强背景注意网络(UACANet)用于息肉分割，它考虑了显著性映射的一个不确定区域。我们构造了一个改进的带有编码器和dech器的U-Net形状网络，并在每个自下而上的流预测模块中计算显著性映射，并传播到下一个预测模块。在每个预测模块中，利用先前预测的显著性图计算前景、背景和不确定区域图，并将每个表示的三个区域图聚合。然后计算特征图中每个表示法与特征图中每个像素之间的关系。我们在五种流行的息肉分割基准，Cvasir、CVC-ClinicDB、ETIS、CVC-ColonDB和CVC-300上进行了实验，我们的方法达到了最先进的性能。特别是，我们在ETIS数据集上实现了76.6%的平均骰子，比之前的最先进的方法提高了13.8%。