一、论文信息
1、论文标题：Change Detection in Synthetic Aperture Radar Images Using a Dual-Domain Network
2、代码链接：https://github.com/summitgao/SAR_CD_DDNet
二、摘要
合成孔径雷达(SAR)图像的变化检测是一项关键而具有挑战性的任务。现有的方法主要集中在空间域的特征提取上，对频域的特征提取较少关注。此外，在斑块特征分析中，边缘区域可能引入一些噪声特征。为了解决上述两个挑战，我们提出了双域网络。具体来说，我们考虑了离散余弦变换域的特征，并将重塑后的DcT系数作为频域分支集成到所提出的模型中。利用频率域和空间域的特征表示来缓解散斑噪声。此外，我们进一步提出了一个多区域卷积模块，它强调每个patch的中心区域。对上下文信息和中心区域特征进行自适应建模。在三个SAR数据集上的实验结果验证了该模型的有效性。
三、引言
近年来，合成孔径雷达(SAR)传感器发展迅速，促使许多研究人员致力于SAR图像分割、纹理分析和变化检测[1]- [3]。变化检测是SAR图像解译的一项重要任务，其主要目的是识别多时相SAR图像之间的变化区域，已引起遥感界越来越多的关注。由于斑点噪声的存在，使用SAR图像的变化检测比光学图像更具挑战性[4]。已经做出了一些开创性的努力来解决多时相图像分析中的噪声问题[5]。传统上，主流方法通常比较多时相图像以生成差异图像(DI)并分析DI以获得变化图[6]。虽然这些方法可以捕捉到一些像素级的变化信息，但是它们很难自适应地利用原始数据中丰富的特征表示。
基于深度学习的方法通过利用深度特征表示获得了巨大成功。然而，由于以下两个挑战，建立稳健的SAR变化检测模型并不容易:1)空间和频率特征的相互增强。现有的模型主要基于空间域的特征提取，很少关注频率域。最近的研究表明，频域中的压缩表示能够抑制空间域中的噪声，并丰富图像理解的模式[11] [12]。因此，应该考虑在一个统一的框架内加强空间和频率特征。2)增强中心区域特征。背景信息对SAR图像变化检测的性能至关重要，因此现有方法通常使用分块特征进行分类。然而，可能会在每个面片的边缘区域引入一些噪声特征。因此，如何在保留背景信息的同时突出每个面片的中心区域是一个严峻的挑战。
为了解决上述两个问题，我们提出了一种双域网络，简称DDNet，它联合利用空间特征和频率特征进行SAR变化检测任务。具体地说，我们首先考虑离散余弦变换(DCT)域的特征。将重构后的DCT系数整合到CNN模型中作为推理分支，利用频域和空间域的特征表示来缓解散斑噪声。此外，我们进一步提出了一个多区域卷积(MRC)模块，它强调每个patch的中心区域。直观地，上下文信息和中心区域特征自适应建模有效。
四、方法
给定同一地理区域在不同时间捕获的两幅SAR图像I1和I2，目标是生成一个二进制变化图，其中变化的像素标记为“1”，不变的像素标记为“0”。
所提出的模型以无人监督的方式工作。预分类是第一步。这一步骤的主要目的是找到很有可能被改变或不变的样本。对数比运算符[13]首先用于生成差分图像(DI)。然后，实施分层FCM聚类[14]以将DI分为三个聚类:ωc、ωu和ωI。属于ωc和ωI的像素分别是具有高概率被改变或不改变的可靠像素。ωI中的像素不确定，需要进一步分类。随机选择以:ωc、ωu中的像素为中心的10%的图像块作为DDNet的训练样本。应该注意，阳性样本和阴性样本的数量是相等的。对于给定的像素，分别从I1和I2提取以该像素为中心的图像补片。每个面片的大小为r×r(本工作中r = 7)。这两个图像块被组合形成一个新的图像块，其大小为2×r×r。生成的新图像块被送入DDNet进行训练。训练后，网络将对以ωI像素为中心的图像块进行分类。整个过程无人监督.
双域网络(DDNet)概述。该网络由两个分支组成:用于捕获多区域特征的空间域分支，以及用于编码DCT系数的频域分支。在空间域分支中，网络包含四个MRC模块，能够在保留上下文信息的同时强调中心区域特征。在频域分支中，通过DCT将输入图像块转换到频域，然后使用“通断开关”来选择DCT系数的关键分量.
A.空间域特征提取
在空间域中，网络包含4个多区域卷积(MRC)模块，如图1所示。MRC模块的详细信息如图2所示。由于上下文信息对于SAR图像变化检测至关重要，现有方法通常采用固定大小(3×3、5×5、7×7等)的窗口来确定位置是否发生变化。我们认为，如果我们在特征提取中放弃一些边缘区域，中心区域可以被强调，边缘区域中的噪声可以被潜在地消除。为此，我们提出提取多区域特征以增强SAR变化检测中的特征表示.
在空间域中，网络包含4个多区域卷积(MRC)模块，如图1所示。MRC模块的详细信息如图2所示。由于上下文信息对于SAR图像变化检测至关重要，现有方法通常采用固定大小(3×3、5×5、7×7等)的窗口来确定位置是否发生变化。我们认为，如果我们在特征提取中放弃一些边缘区域，中心区域可以被强调，边缘区域中的噪声可以被潜在地消除。为此，我们提出提取多区域特征以增强SAR变化检测中的特征表示
MRC模块的图示。以斑块大小r = 7为例。输入特征图被卷积成15个通道，然后被分成三组Fg、Fh和Fv。在3×3卷积层之后，可以获得三组特征Fg’、Fh’和Fv’，这些特征与逐元素求和相融合以形成输出特征。
MRC模块的图示。以斑块大小r = 7为例。输入特征图被卷积成15个通道，然后被分成三组Fg、Fh和Fv。在3×3卷积层之后，可以获得三组特征F0 g、F0 h和f0v。这些特征与逐元素求和相融合以形成输出特征。
给定图像补丁A∈R(2×r×r)，将其输入1x1卷积层，生成新的特征映射F∈R(C×r×r)。然后，根据信道维度将F分为Fg、Fh、Fv三组。因此，Fg, Fh和Fv的形状分别为C/3×r×r。Fg表示全局区域特征。Fh表示水平中间区域特征，其中顶部和底部的几行被设置0。Fh，表示垂直中间区域特征，其中左右两列被设为0。
表示空间融合特征。C在我们的实现中被设置为15，因此我们获得了最终的空间融合特征映射，其大小为5 x 7 x 7。然后特征被重塑为向量v，向量的长度为5x 7 x 7 245。因此，V具有全局上下文视图，中心区域信息得到了增强。
B.频域特征提取
大小为2×r×r的输入图像块通过双线性插值被调整为2×8×8。然后，通过DCT将图像块转换到频域。之后，得到的DCT系数向量v的长度为2 × 64 = 128。已经证实，DCT证明在空间域中的噪声抑制非常有效。为了进一步选择DCT系数的关键分量，我们采用“通断开关”,该开关通过两次线性变换产生信息向量I和注意门g，如图1所示。信息向量I和注意门g被生成为：
其中，wi和Wg是权重矩阵，bi和bg是线性变换中的偏差，σ表示sigmoid激活函数
然后，DCTB使用逐元素乘法将注意门应用于信息向量，并获得最终的频率特征向量Vf。
C.最终改变地图生成
在获得空间域特征Vs和频率域特征Vf之后，它们被连接并馈入全连接(FC)层。然后，由softmax层计算改变或未改变的可能性，以生成输出。训练后，网络将对ωI中的像素进行分类，得到最终的变化图。
我们用五种常见的变化检测评估指标来衡量所提出的DDNet的性能，包括假阳性(FP)、假阴性(FN)、总体误差(OE)、正确分类百分比(PCC)和kappa系数(KC)。
