超分辨论文阅读笔记：CSNL

Cross-Scale Non-Local Attention论文笔记

Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

跨尺度非局部注意力和穷举自样本挖掘的注意力机制
针对问题： 现有的大部分研究都忽略了自然图像中的远距离特征相关性，虽然通过非局部注意力模块能够利用这种相关性，但目前的深度模型都未涉及另一个图像固有属性，跨尺度的特征相关性。
动机：自然图像中普遍存在跨尺度的块相似性，自相似的非局部搜索可以从像素之间扩展到像素与块之间，也就是说处理非局部像素匹配之外，像素还可以与较大的图像块匹配，自然图像交叉尺度特征之间的联系让我们能够从LR中直接搜索高频细节，从而获得更精确更高质量的重建结果。
本文的贡献：提出了第一个用于SISR任务的深度学习模型–跨尺度非局部注意模块。明确地表达了图像内部像素到块和块到块的相似性，并且证明了挖掘跨尺度自相似性极大地提高了SISR性能
提出的方法（模型）：CS-NL

IN-Scale NL Attention原理：

z代表经过NL模块之后i,j位置的值，Xi,j表示输入特征图i,j位置的值，Xg,h表示输入特征图g,h位置的值，Xu,v表示任意位置的值，这个公式表示遍历整个特征图像每个像素点求与Xi,j之间的关系，然后用得到的关系整除所有位置与Xi,j的关系，这样就得到了Xg,h所在位置对Xi,j影响权重的大小，再加入Xg,h位置向Xi,j位置的映射，最终将所有位置向Xi,j的映射进行加权求和得到i,j位置新的表示。
Cross-scale NL Attention原理：

Y代表下采样s倍的图像，Yg,h表示g,h所在位置的特征，Yu,v表示任意位置的特征，$X_{sg,sh}^{s\ast s}$,表示与Yg,h位置相对的ss大小的块，整个过程如下图所示：
图中原始特征图缩小S倍后，每个小尺度图中的块代表这原始特征图中ss大小的块，求小图与原图像素之间的关系等同于求原始图像中相对位置的s*s大小的块与原图中像素点的关系，因此从像素加权求和演变为图像块的加权求和，用加权得到的块来代替原图中的像素点，就得到了最终扩张了s倍的特征图。
文章最终采取了块与块之间的关系实现，原理与上述相同，只是将像素与块的关系换成了块与块之间的关系。
自样本挖掘
自样本挖掘(SEM)单元通过重复挖掘和融合信息来穷尽图像的信息。在模块内部，通过结合局部、尺度内非局部和建议的跨尺度非局部特征相关性，彻底挖掘所有可能的内在先验。
互投影融合
这篇文章再自样本挖掘模块中，需要用到三种提取特征的方法，分别是CS-NL,NL，还有普通的卷积，借鉴了DBPN通过互投影的方法将其融合在一起，如下图所示：

Fc表示CS-NL模块的输出，Fi表示IN-NL的输出，Fl表示只进行普通卷积的输出。
**总结：**网络通过递归的使用SEM将图像的特征信息挖掘出来，输出到最终的拼接阶段，通过卷积最终生成一副高质量SR图像。CS-NL模型利用了不同尺度之间特征的相关性，通过CS-NL将图像的细节变得更丰富，单个像素表征的信息变成了多个点进行信息表征，进一步缓解了卷积过程中信息的融合。