1. 摘要

相比传统方法，受益于端到端训练，基于学习的图像超分方法取得了越来越好的性能(无论是性能还是计算效率)。然而，不同于基于建模的方法可以在统一的MAP框架下处理不同尺度、模糊核以及噪声水平的图像超分，基于学习的图像超分缺乏上述灵活性。

为解决上述问题，作者提出一种端到端可训练展开的网络，它集成了基于学习与基于建模的方法。通过half-quadratic splitting算法将MAP推理进展展开，通过固定次数的迭代求解数据子问题与先验子问题。上述两个子问题可以通过神经网络模块进行求解，从而得到一个可端到端训练的迭代网络。因此，所提网络不仅具有建模方法的灵活性(可处理不同尺度、模糊、噪声降质问题)，同时具有学习方法的高性能。最后作者通过实验证实了所提方法在灵活性、高效性以及泛化性能方面的优势。

论文：Deep Unfolding Network for Image Super-Resolution
代码：https://github.com/cszn/USRNet

本文的贡献主要包含以下几点：

提出一种端到端可训练展开的图像超分网络，它是首个采用单个端到端模型解决经典降质问题(不同尺度、模糊核以及噪声水平)的方法；
USRNet集成了建模方法的灵活性与学习方法的优势，为缩小两者差异构建一条通路；
USRNet从根本上将降质约束与先验约束信息嵌入到求解过程中；
USRNet在不同降质配置下的LR图像均具有极好的性能，在实际应用中具有极大的潜力。

在这里插入图片描述

2. 算法原理

2.1 图像退化

一般而言，广义降质过程可以通过如下公式进行刻画：
在这里插入图片描述
其中研究最多的当属双三次插值降质，事实上双三次插值降质也可以通过上述公式配合合适模糊近似。与此同时，我们可以采用数据驱动的方式求解上述核估计问题，优化目标如下：

[公式]
下图给出了不同尺度下的双三次核近似估计。注：由于下采样操作是选择每个块的左上角像素，因此所估计的双三次核分别偏离中心0.5，1，1.5个像素。
在这里插入图片描述

2.2 Unfolding optimization

从MAP框架的角度来看，HR图像的可以通过最小化如下目标函数进行估计：
在这里插入图片描述
为得到上述公式的展开推理，作者选择了半二次拆分（half-quadratic spliting, HQS）算法(因其简洁性与快速收敛性)。HQS通过引入辅助变量z对上述公式进行求解，从而有如下等价近似关系：

其中[公式]为惩罚性参数。上述优化目标可以通过迭代求解x与z进行解决：
在这里插入图片描述
从上述公式推导可以看到：数据项与先验项可以进行解耦。对于数据项而言，可以采用快速傅里叶变换进行求解；对于先验项而言，它等价于降噪问题。

2.3 Deep unfolding Network

下图是作者提出的网络模型结构，包含三个模块：data module D用于计算 $z_k$ ， prior module P用于计算 $x_k$ ，计算时由于需要用到超参所以还引入了一个hyper-parameter module H用于计算每一次迭代时需要用到的 $α_k$ , $β_k$ ，其中 $α_k$ 由σ, $μ_k$ 决定， $β_k$ 由λ, $μ_k$ 决定。作者指出，虽然可以去学到固定的λ和 $μ_k$ ，但让λ, $μ_k$ 在迭代过程中随σ,s变化就足够了。

在这里插入图片描述
data module不包含任何可学习参数，并且将输入y与s进行最近邻插值得到 $x_0$ 。P模块的结构为一个ResUNet，相当于一个denoiser，对 $z_k$ 进行去噪得到cleaner的 $HR_{xk}$ 。H的作用类似一个滑动条， $α_k$ 增大会使zk更接近于 $x_{k−1}$ ，由3层全连接层组成。作者还指出，虽然这是针对SISR问题提出的，但是如果将缩放因子s设置为1，也可以将其应用于deblurring。

3. 实验

一些实验结果，感觉表现还是很好的。
在这里插入图片描述