文章目录
- 2019
- 2020
- 2021
-
- Progressive Semantic Segmentation(CVPR)
- High Quality Segmentation for Ultra High-resolution Images
- Rich CNN Features for Water-Body Segmentation from Very High Resolution Aerial and Satellite Imagery
- From Contexts to Locality: Ultra-high Resolution Image Segmentation via Locality-aware Contextual Correlation(ICCV)
2019
Collaborative Global-Local Networks for Memory-Efficient Segmentation of Ultra-High Resolution Images
code: https://github.com/VITA-Group/GLNet
摘要： 超高分辨率图像的分割要求越来越高，但对算法效率带来了重大挑战，特别是考虑到(GPU)内存限制。目前的方法要么对一个超高分辨率的图像进行降采样，要么将其裁剪成小块进行单独处理。无论哪种方式，局部细节或全局上下文信息的丢失都会导致有限的分割精度。我们提出了协作的全局本地网络(GLNet)，以一种高内存效率的方式有效地保存全局和本地信息。GLNet由一个全局分支和一个局部分支组成，分别将降采样的整个图像及其裁剪后的局部斑块作为各自的输入。在分割方面，GLNet深度融合了来自两个分支的特征映射，从放大的局部补丁中捕获高分辨率的精细结构，并从降采样的输入中捕获上下文依赖关系。为了进一步解决背景区域和前景区域之间潜在的类不平衡问题，我们提出了一个从粗到细的GLNet变体，它也具有内存效率。在三个真实世界的超高空中和医学图像数据集（分辨率高达3000万像素）上进行了广泛的实验和分析。由于仅使用了一个1080TiGPU和不到2GB的内存，我们的GLNet产生了高质量的分割结果，并与最先进的技术相比，实现了更具竞争力的精确内存使用权衡。
2020
CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement
code: https://github.com/hkchengrex/CascadePSP
摘要：最先进的语义分割方法几乎只在一个固定的分辨率范围内的图像上进行训练。这些分割对于非常高分辨率的图像是不准确的，因为使用低分辨率分割的双边上采样不能充分捕捉沿物体边界的高分辨率细节。在本文中，我们提出了一种新的方法来解决高分辨率分割问题，而不使用任何高分辨率训练数据。关键的见解是我们的CascadePSP网络，它可以尽可能地细化和纠正局部边界。虽然我们的网络是用低分辨率的分割数据进行训练的，但我们的方法适用于任何分辨率，即使是对于大于4K的非常高分辨率的图像。我们对不同的数据集进行了定量和定性的研究，以表明CascadePSP可以使用我们的新的重新细化模块来揭示像素精确的分割边界，而不需要进行任何微调。因此，我们的方法可以看作是类不可知论者的。最后，我们演示了我们的模型在多类分割中的场景解析中的应用。
论文的贡献：
- 我们提出了CascadePSP，这是一种一般的级联分割细化模型，它可以细化任何给定的输入分割，在不进行微调的情况下提高了最先进的分割模型的性能。
- 我们进一步表明，我们的方法可以用于产生高质量和非常高分辨率的分割，这是以前基于深度学习的方法从未实现过的。
- 我们引入了一个大的数据集，它可以作为一个非常高分辨率的语义图像分割任务的准确的评估数据集。
2021
Progressive Semantic Segmentation(CVPR)
code : https://github.com/VinAIResearch/MagNet
摘要： 这项工作的目的是分割高分辨率的图像，而不超载GPU内存的使用或丢失输出分割地图中的细节。内存约束意味着我们要么必须对大图像进行降采样，要么将图像分割成局部补丁以进行单独处理。然而，前一种方法将失去细节，而后者可能由于缺乏全球图景而模棱两可。在这项工作中，我们提出了磁铁，一个多尺度的框架，通过观察在多个放大水平上的图像来解决局部模糊性。磁铁有多个处理阶段，其中每个阶段对应一个放大级别，并将一个阶段的输出输入下一个阶段，进行粗到细的信息传播。每个阶段以比前阶段更高的分辨率分析图像，恢复之前由于有损降采样步骤而丢失的细节，并通过处理阶段逐步细化分割输出.在城市景观、空中场景和医学图像的三个高分辨率数据集上进行的实验表明，磁铁的性能始终显著优于最先进的方法。
High Quality Segmentation for Ultra High-resolution Images
code: https://paperswithcode.com/paper/high-quality-segmentation-for-ultra-high
摘要： 分割4K或6K超高分辨率图像在图像分割中需要额外的计算。常见的策略，如降采样、斑块裁剪和级联模型，都不能很好地解决精度和计算成本之间的平衡问题。基于人类从粗糙到精确的水平连续区分对象，我们提出了连续细化模型(CRM)用于超高分辨率分割细化任务。CRM不断地将特征图与细化目标对齐，并聚合特征来重建这些图像的细节。此外，我们的CRM显示了其显著的泛化能力，以填补低分辨率训练图像和超高分辨率测试图像之间的分辨率差距。我们提出了定量的性能评估和可视化，以表明我们提出的方法是快速和有效的图像分割细化。
论文的贡献：
- 我们提出了一个通用的连续细化模型(CRM)。在超高分辨率分割细化中，引入了一种利用连续位置信息和连续对齐潜在图像特征的隐式函数。在没有基于级联的解码器的情况下，我们有效地降低了计算成本，同时重建了更多的细节。
- 具有多分辨率推理的•CRM适用于使用低分辨率训练图像和超高分辨率测试图像。由于设计简单，即使从低分辨率细化到高分辨率，总推理时间也不到CascadePSP[9]的一半。
- 在实验中，CRM对超高分辨率图像的分割效果最好。它还有助于提高最先进的全光学分割模型的性能，而没有微调。
Rich CNN Features for Water-Body Segmentation from Very High Resolution Aerial and Satellite Imagery
摘要： 从非常高的分辨率(VHR)遥感图像中准确地提取水体是一个巨大的挑战。由于水生植被造成的复杂的光谱混合物、独特的湖/河流颜色、河岸附近的淤泥、周围高大植物的阴影等，水体的边界通常难以识别。为了更好地从VHR遥感图像中提取水体，需要增加特征的多样性和语义信息。本文通过设计一种新的多特征提取和组合模块来解决这些问题。该模块由三个基于每个尺度上特征图中的空间和信道相关性的特征提取子模块组成，从局部空间、较大的空间和信道间关系中提取完整的目标信息，实现丰富的特征表示。同时，为了更好地预测水体的精细轮廓，我们采用了多尺度预测聚变模块。此外，为了解决编码阶段和解码阶段之间特征融合的语义不一致问题，我们采用了一个编码器-解码器语义特征融合模块来促进融合效果。我们分别在VHR空中图像和卫星图像上进行了广泛的实验。结果表明，我们的方法达到了最先进的分割性能，超过了经典的和最近的方法。此外，我们提出的方法在具有挑战性的水体提取场景中是鲁棒性的。
From Contexts to Locality: Ultra-high Resolution Image Segmentation via Locality-aware Contextual Correlation(ICCV)
code: https://paperswithcode.com/paper/from-contexts-to-locality-ultra-high
摘要： 超高分辨率图像分割的实际应用，近年来引起了越来越多的关注。在本文中，我们创新了广泛使用的高分辨率图像分割管道，即将超高分辨率图像分割成规则的斑块进行局部分割，然后将局部结果合并为高分辨率语义掩码。特别地，我们引入了一种新的基于局部感知上下文相关的分割模型来处理局部斑块，其中局部斑块与其各种上下文之间的相关性被联合和互补地用来处理变化较大的语义区域。此外，我们提出了一个上下文语义细化网络，该网络将局部分割结果与其上下文语义关联起来，因此在生成最终高分辨率掩模的过程中，具有减少边界伪影和细化掩模轮廓的能力。
