利用循环CNN实现无监督遥感图像的超分辨率重建
1 文献信息
题目：UNSUPERVISED REMOTE SENSING IMAGE SUPER-RESOLUTION USING CYCLE CNN
作者：Pengrui Wang， Haopeng Zhang ，Feng Zhou 4, Zhiguo Jiang（北大）
期刊：2019 IEEE
2 背景
单像超分辨率(SISR)是许多遥感应用的一种有用方法。然而，在监督学习SR方法中，高分辨率和低分辨率遥感图像的获取是比较困难的。在本文中，我们提出了一种无监督网络来解决这一问题。我们的网络由两个可生成的CNNs组成，分别用于下采样和超分辨率，可以用非配对数据进行训练。对高分二号卫星全色和多光谱图像的实验结果表明，该方法取得了较好的遥感效果，对遥感图像中的噪声和模糊具有较强的鲁棒性。
3 方法
框架
在网络中有两个生成CNN:一个用来重建(G1)，一个用来下采样(G2)。
对于超分辨率发生器G1，我们使用了16个resblocks，而下采样的CNN G2包含了5个resblocks,。此外，对于G2，为了缩小图像，在resblock1之前使用两个2×2的平均池层。
损失函数
为了能够将生成的图像恢复到原始图像，定义循环一致性损失为：
定义Lidt使得网络更稳定，更容易收敛
我们从256张图像中裁剪96×96块作为低分辨率的patch，从1024×1024 的PAN图像中裁剪384 384块作为高分辨率的patch。最小批量是8。设置参数β1 = 0.9,β2 = 0.999。学习速率初始化为10-4，在训练过程的一半时降低10倍。将损失权重ω1 = 2和ω2= 1，同时更新G1和G2的参数。
数据集和评价指标
收集了720幅来自GaoFen-2卫星的训练图像，包括全色波段图像(PAN)和多光谱波段图像(MS)。PAN图像被认为是空间分辨率为1m/pixel，尺寸为1024 1024的HR图像。MS图像大小为256 256，空间分辨率为4m/pixel。我们将MS的前三个波段(即蓝、绿、红通道)转换为YCbCr颜色空间，并将Y通道作为未配对训练的LR图像。因此SR尺度因子为4。对于有监督的SR网络，我们下采样PAN图像以获得LR图像进行两两训练。测试集包含8张空间分辨率为4m/pixel的图像。为了公平比较，从PAN图像中向下采样了5张测试图像，其中3张是由MS图像转换的Y通道。用它们对应的PAN图像计算常用的全参考指标PSNR和SSIM进行超分辨性能评价。此外，为了分析图像对噪声和模糊的鲁棒性，还在测试图像中加入了标准偏差为10的高斯模糊和高斯白噪声。
4 结果
以双三次插值为基准，与目前最先进的基于监督CNN的SR方法如SRCNN、VDSR和SR- ResNet进行比较。我们分别使用成对和非成对的数据来训练我们的Cycle-CNN网络。
表1和图2显示了我们的方法与其他SR方法的比较结果。可以看出，我们的无监督方法比最先进的监督方法有更好的效果，并且对模糊和噪声有更好的鲁棒性。特别是，我们的成对训练的Cycle-CNN对于下降采样的PAN数据可能会得到更好的SR结果，但是对于真实的Y通道数据则会得到更差的SR结果。相比之下，我们未经配对训练的循环cnn在侦查Y频道方面有更好的结果。这验证了非监督训练的作用。需要注意的是，对于高退化的真实遥感数据(即表1中的模糊和噪声)，传统的双三次插值可能在4个超分辨率下表现得更好。结果表明，当SR尺度较高时，图像退化对基于学习的SR方法影响较大。
5 结论
本文提出了一种无监督学习超分辨率网络，命名为Cycle-CNN，用于遥感图像。我们在网络中设置了两个模块。第一个模块用于将LR图像映射到HR图像，即超分辨率，而第二个模块将HR图像映射回LR图像，如向下采样。在高分二号卫星图像上的实验结果表明，该方法具有良好的抗模糊和抗噪声能力。此外，我们的无监督方法在重建GaoFen-2的多光谱波段图像方面表现得更好。
个人总结：本文针对遥感图像的超分辨率提出了无监督的深度学习方法。作者提到现实中很少有成对的高、低分辨率的遥感图像出现，为了解决遥感图像的超分辨率问题，作者用循环生成对抗网络解决了这一问题，这也是我最近读到的比较有吸引力的一篇文章。文中网络分分为两部分，一部分生成高分辨率网络，一部分生成低分辨率网络，利用对损失函数的独特设计使网络不断收敛（训练网络依然有高分辨率和低分辨率的图像，但并非成对出现，即两者之间并无关联）。