【高低频融合网络：Pansharpening 】

HLF-Net: Pansharpening Based on High- and Low-Frequency Fusion Networks

（HLF-Net：基于高低频融合网络的锐化算法）

许多深度神经网络（DNN）已经被构建用于全色锐化任务。然而，在一些基于DNN的泛锐化方法中，没有考虑图像中的高频和低频之间的差异。由于高频和低频具有不同的图像信息，同一个网络很难学习和协调这两种频率。考虑到上述差异，我们提出了一个新的泛锐化网络融合的高，低空间分辨率的多光谱（LRMS）和全色（PAN）图像中的低频分离。具体而言，构建了一个高低频融合网络（HLF-Net），它由高频融合网络（HF-Net）和低频融合网络（LF-Net）组成。在HF-Net中，跳过注意力机制被引入到U-Net中，以更好地保留特征图中的高频。LF-Net使用内卷（involution） 来捕获特征图的通道之间的依赖性。在GeoEye-1数据集上的实验表明，该网络的性能优于一些最先进的方法。

介绍

近年来，随着卫星的发射，越来越多的成像传感器可以获取各种遥感图像，从不同方面提供更全面的地球观测。这些图像已广泛应用于各个领域，包括环境监测、城市规划和矿产勘探。然而，空间和光谱分辨率之间的权衡是我们不能忽视的重要因素。由于这种折衷，所获得的遥感图像不能同时具有高空间分辨率和高光谱分辨率。例如，多光谱（MS）图像具有高光谱分辨率，因为它们通常由四个或八个波段组成，而它们的空间分辨率是有限的。全色（PAN）图像具有高的空间分辨率并提供丰富的空间信息。然而，PAN图像仅包含一个波段带。因此，泛锐化被推进以产生高空间分辨率MS（HRMS）图像。
在过去的几十年中，已经提出了许多成功的泛锐化方法，并取得了良好的效果。这些方法可以基于其范例分类如下：1)基于组件替换（CS）的方法；2）基于多分辨率分析（MRA）的方法；3）基于模型的方法。基于CS的方法首先利用特定变换将低空间分辨率MS（LRMS）图像投影到新的空间中。假设空间和光谱分量可以在该空间中分离。然后，用直方图匹配的PAN图像替换空间分量。最后，对重构的分量执行逆变换以生成期望的HRMS图像。在第二类基于MRA的方法中，假设可以在PAN图像中找到LRMS图像中不存在的空间细节。因此，许多MRA工具被用于从PAN图像中提取空间细节。然后，这些细节被注入到上采样的LRMS图像中。第三类基于模型的方法中，假设LRMS和PAN图像分别是融合HRMS图像的空间和光谱退化结果。因此，全色锐化任务被重新表述为图像恢复问题。然后，通过求解不适定的恢复模型来实现泛锐化。为了正则化退化模型的解空间，引入了各种先验，例如稀疏性和低秩先验。此外，变分模型也被引入到基于模型的方法中。
近年来，深度神经网络（DNN）由于其强大的表示能力而引起了广泛的关注。Masi等人首先构建了一个由三个卷积层组成的卷积神经网络（CNN）。Yang等人采用残差网络来学习空间细节，然后将其添加到LRMS图像中。Liu等人还提出了一种基于生成对抗网络（GAN）的泛锐化方法，其中使用双流网络来生成融合结果。Gastineau等人采用光谱角映射器（SAM）作为损失，以减少融合图像中的光谱失真。此外，Diao等人将空间，光谱和图形注意力机制引入子网络中，以实现更有效的特征提取。为了利用深度先验，Dian等人从低分辨率图像锐化的退化关系中推导出一个新模型。Cao等人设计了一个模型驱动的网络来提高融合图像的质量。此外，transformer由于其在长程相关性方面的良好性能而被应用于全色锐化。
虽然上述基于DNN的方法可以获得良好的结果，但图像中的高频和低频在统计特性方面具有不同的性能。考虑到统计差异，一些研究人员设计了不同的融合规则或网络来处理LRMS和PAN图像中的高频和低频。一些基于DNN的方法使用残差网络来获取空间细节，也是高频，然后将其添加到LRMS图像中。LRMS和PAN图像中除了高频成分外，还含有大量的低频成分，这些低频成分使得残差中的高频成分被平滑掉，使得融合图像的空间信息变得模糊。此外，随着网络层数的增加，深层中的特征图逐渐失去高频。其次，光谱信息通常取决于源图像的低频。在基于注入的泛锐化框架中，一些方法将获得的残差添加到LRMS图像。他们直接将LRMS图像视为低频，而PAN图像中的低频被忽略。由于PAN图像缺乏低频约束，融合结果中会出现一些光谱失真。
提出了一种新的基于高低频融合网络（HLF-Net）的全色锐化方法，有效地增强了融合图像的空间信息，并保留了融合图像的光谱特征。在所提出的网络中，我们设计了两个特定的网络来融合LRMS和PAN图像的高频和低频，考虑高频和低频之间的统计差异。

贡献

1）考虑到低频和高频的差异，我们提出了一种新的泛锐化网络来分别处理LRMS和PAN图像中的高频和低频。该网络由高频融合网络（HF-Net）和低频融合网络（LF-Net）组成。
2）特定的架构被设计为更有效地对图像中的高频和低频进行建模。在HF-Net中，跳过注意力被引入到U-Net中，以更好地保留特征图中的高频。LF-Net使用内卷来捕获特征图的通道之间的依赖性。

方法

整体的网络流程图，如图1 所示。

提出的HLF-Net由两个网络组成：HF-Net和LF-Net。根据常用的预处理方法，LRMS和PAN图像通过大小为5 × 5且方差为2.28的高斯滤波器进行滤波，以获得其对应的低频。然后，可以通过从原始图像中去除低频来获得高频。

High-Frequency Fusion Network

在所提出的方法中，空间细节被视为高频。我们设计了一个HF-Net来获得融合的高频。图1描绘了HF-Net的结构。在HFNet中，两个下采样注意力块 （DAB）被级联以提取LRMS和PAN图像的高频中的空间特征。然后，通过两个级联的上采样注意块 （UAB）对提取的特征进行渐进解码。除了第一层之外，DAB和UAB具有类似的网络结构。在DAB中，特征图的下采样是通过步长为2的3 × 3卷积层实现的。UABs采用双线性插值算子对特征图进行上采样。
在DAB和UAB中，引入注意层以用于更有效的特征提取。Hu等人将通道注意模块用作注意层，其中在特征图的每个通道上实现 全局平均池（GAP） 以获得特征向量。然后，通过全连接层（FC）和Sigmoid函数处理特征向量。最后，将sigmoid函数的输出与注意力层的输入组合。此外，多层感知器（MLP）层是由两个卷积层以及两个卷积层之间插入的高斯误差线性单元（GELU）和一个dropout函数组成。然后，第二卷积层与另一个dropout函数级联以获得MLP层的结果。
与低频信息相反，随着卷积层的增加，难以保留图像中的高频。通常，高频被认为存在于DNNs的浅层中，而深层中的高频将被平滑。虽然跳过连接可以解决上述问题，但是来自浅层和深层的特征图直接连接而不进行任何处理，这可能产生一些不兼容的效果。因此，我们在跳跃连接中引入注意块，称为跳跃注意块（SABs）。在HF-Net的主干中，在每个尺度上在浅层和深层之间存在两个SAB。
SAB的过程表示为：
其中，y和y₂分别表示SAB的输入和输出。y_i表示SAB的中间特征图。Attention(·)和MLP(·)分别表示图1中的注意层和MLP层。Dropout(·)和LN(·)也表示图1中的对应函数。此外，SAB中的注意力层的结构与DAB和UAB中的注意力层的结构相同。SABs的引入改善了浅层和深层中的空间细节的兼容性。因此，HF-Net中的细微细节可以更有效地保留。

Low-Frequency Fusion Network

与HF-Net相比，LF-Net专注于LRMS和PAN图像中低频的融合。低频对融合图像的光谱信息有明显的影响。由于光谱范围差异，如果直接在LRMS和PAN图像的低频上实施融合策略，则会引入一些光谱失真。为了保留融合图像中的光谱信息，我们通过图1所示的内卷学习图像的低频特征。在LF-Net中，通过3 × 3卷积层从PAN和LRMS图像的低频级联获得尺寸为W × H × C的特征图。C是指特征图的通道数。W和H分别表示特征图的权重和高度。如图1所示，我们以(i，j)位置处的像素为例。像素的特征向量表示为x ∈ $R^C$。我们选择一个以（i，j）为中心的局部块，并将其特征表示为^x ∈ $R^{k\times k\times C}$。贴片的大小为k × k。然后，^x被馈送到FC层，其长度为$k^2$的输出被重塑为具有匹配的k × k大小的内核。然后，沿着信道维度将内核复制C次。最后，一个新的特征向量x’是由复制^x的内核和特征的卷积产生的。
上诉提及的内卷可以表示为
其中R（·）表示整形操作，并且D（·）表示复制操作符。⊕代表卷积。对于特征图中的所有像素，共享FC层。因此，要学习的参数的数量非常小。当输入特征中的所有像素被相应的复制核滤波时，获得内卷的输出。根据图1中的公式，内卷可以被视为一种自我注意机制，因为FC层捕获了特征图通道之间的关系。

Loss Function

为了实现更精确的融合，我们对HF-Net和LF-Net施加重建损失。例如，参考图像R的高频R_H和低频R_L可以被视为用于训练HF-Net和LF-Net的监督信息。然后，高频和低频的重构损耗被定义为
其中M_H和P_H分别是LRMS和PAN图像的高频。M_L和P_L分别表示LRMS和PAN图像的低频。HF-Net和LF-Net分别由F_H(·)和F_L(·)表示。训练图像的数量为N。通过最小化公式（4），可以提取LRMS和PAN图像的高频和低频特征，同时可以有效地训练所提出的HLF-Net。

PS：Involution：一种新的神经网络算子