摘要
最近，监督深度学习在遥感图像（RSI）语义分割中取得了巨大成功。
然而，监督学习进行语义分割需要大量的标记样本，这在遥感领域是很难获得的。
自监督学习（SSL）是一种新的学习范式，通过预训练大量未标记图像的通用模型，然后在具有极少标记样本的下游任务上对其进行微调，可以解决此类问题。对比学习是SSL的一种典型方法，可以学习一般的不变特征。
然而，大多数现有的对比学习方法是为分类任务设计的，以获得图像级表示，这对于需要像素级区分的语义分割任务可能是次优的。
因此，我们提出了一种全局风格和局部匹配的对比学习网络（GLCNet）用于RSI语义分割。
具体来说，首先，全局风格对比学习模块用于更好地学习ImageLevel表示，因为我们认为风格特征可以更好地表示整体图像特征。
其次，设计了局部特征匹配对比学习模块，学习局部区域的表示，有利于语义分割。我们评估了四个RSI语义分割数据集，实验结果表明，我们的方法在大多数情况下优于最先进的自监督方法和ImageNet预训练方法。源代码可以在https：//github.com/geox-lab/g-rsim.中找到。
一、 引言
传统的监督学习对数据集的要求很高，没有用到大量的未标注数据，因此就用到了自监督学习来进行语义分割。
自监督学习（SSL）提供了一种新的方法，如图1所示，它首先通过设计自监督信号从未标记的图像数据中学习知识，然后将其传输到下游任务，在具有有限数量标记样本的下游任务上实现与监督学习相当的性能。虽然RSI无法获得大量标记数据，但可以轻松访问覆盖全世界的具有极大多样性和丰富性的未标记图像数据，并且由于未标记图像数据中包含的信息比稀疏标签丰富得多，我们可以期望通过SSL潜在地学习更多的常识。
本文将对比学习的方法引入RSI语义分割。在预训练阶段，我们使用对比学习来增强样本在无标签数据上的一致性，以学习通用遥感视觉模型（G-RSIM）。G-RSIM增强了不变性，例如照明不变性、旋转不变性和尺度不变性。其次，现有的即时对比学习主要针对图像分类任务，只关注全局表示的学习。然而，RSI语义分割任务的全局特征学习和局部特征学习之间存在平衡：从全局表示的角度来看，由于时间（春季、夏季、秋季和冬季）、天气、传感器等方面的差异，RSI具有整体差异。；从局部表示的角度来看，像素级语义分割需要更多的局部信息[44]。因此，我们提出了全局风格和局部匹配对比学习网络（GLCNet）框架，其中全局风格对比学习模块侧重于全局表示，局部匹配对比学习模块用于学习像素（局部）级特征
本文的主要贡献总结如下：
- 我们将自我监督对比学习应用于RSI语义分割任务，并在多个数据集上进行了验证。该模型可以直接从未标记图像中学习特征，以指导下游具有有限标注的语义分割任务。
- 我们提出了一种新的自监督对比学习框架，即GLCNet，该框架侧重于平衡RSI语义分割任务中的全局和局部特征学习。
- 我们在两个公共数据集和两个真实数据集上评估了我们提出的方法。实验结果表明，该方法优于其他自监督方法。在上游和下游数据集不是高度相似的情况下，它也优于监督学习方法。