摘要
现有的盲图像超分辨率（SR）方法大多数情况下，假设模糊核在空间上是不变的。但在真实场景中，一些图像往往是不通位置的模糊核不同，比如运动物体以及失焦。为了解决这个问题，本文提出了一种互仿射算法用于空间各异核估计的网络（MANet）。
具体来说，MANet有两个显著的特点。首先是它具有中等的感受野，以保持局部退化，其次，在不增加感受野、模型尺寸和计算负担的情况下，它采用一个新的互仿射卷积（MAConv）层，该层增强了特征的表达能力。
在合成和真实的大量实验中，所提出的MANet不仅可以有利于空间各异和空间不变核估计，而且与非盲SR方法相结合时，也会产生最先进的盲SR性能。
Figure1的平滑区域以及高频区域表明：Therefore, estimating spatially variant kernels is more reasonable for blind SR。
方法
MANet
抱歉公式的截图没对齐。式子1是我们常见的LR图像的退化形式，这里的k是全局统一的也就是说，对于同一张图的每个位置的退化都是一样的；式子2是把k扩展到K，图像中每个位置的退化是不同的。K是blur matrix。
Figure2 是网络图，这篇论文的重点在于估计图像的空间变化模糊核，因此上述网络结构是估计模糊核的。大体的结构图片上描述的很清楚了。
- Figure2的英文描述我们可以看到，输入是LR图像，输出的是HR大小但是通道数是hw的核（注意是小写的hw，代表了核的高宽，和大写的HW不同）
- softmax：a softmax layer along the channel to predict the kernels for every LR image pixel.
- upscale：最近邻上采样
- 空间变异核估计的主要挑战在于退化的局部性，为什么？因为空间各异！所以不能像从前的估计模糊核方法需要大的感受野。MANet有一个适度的感受野,比如对于LR图像来说，其感受野是22*22，确保了核估计不会被其他的patch所干扰。与此同时，还提出了MAConv。
MAConv
-
MAConv的目的是增强表达能力，以往方法是通过增加网络通道数，但是会带来计算负担和参数量。
-
具体过程：
1、x在通道维度被分离成S个。
2、第二步有点意思。x_i_hat 代表的是除了第i个split，其他的split cat后的特征，因此其通道数是C/S*(S-1)，这样也体现出mutual（互相）的意思，因为这个x_i_hat会经过全连接层也就是图中的Affine Trans. Module产生仿射系数，从而对当前的x_{i}施加影响。注意，在这个ATM模块的最后有个通道分离，因为其产生的系数的通道数是C/S*2。
3、每一步的仿射结果再经过conv-3的变换，最终cat一起。 -
MAConv通过上述的方式探索了通道间的相互依赖，这样的设计确实
花里胡哨提升了表达能力，减少了模型大小和计算量（这个倒是真的，毕竟分组处理了嘛）。而且这个卷积的感受野和正常的conv-3是一样的。
loss
有监督的L1loss。
实验
settings
- 21 × 21 anisotropic Gaussian kernels
- kernel widths σ1 , σ2 ∼ U (0.175s, 2.5s) for scale factor s, while rotation angle θ ∼ U (0, π). We ran- domly crop 192 × 192 image patches from DIV2K [1] and augment them by random flip and rotation.
- For MANet, channel numbers of three residual blocks are set to 128, 256 and 128, respectively. Channel split number S is 2 unless specified
消融实验
关于消融实验，论文里做了MAConv和正常卷积的对比，表格1；kernel loss和image loss对比，Figure4.此外还做了核估计的可视化。
和其他方法对比
实验部分做的很充分，没细看，感兴趣的兄弟集美可以去读一下原文！就酱紫，下次再见！