超分辨率MSRN:Multi-scale Residual Network for Image Super-Resolution

这篇文章主要创新点是:使用多尺度残差块充分提取图片特征

问题

(1)目前的研究倾向于使用更深层次的卷积神经网络来提高性能。但是随着网络深度的增加,训练过程中出现的问题越来越多,需要更多的训练技巧。导致很多方法难以复现;
(2)特征利用不足,随着网络深度的增加,特征在传输过程中逐渐消失。如何充分利用这些特征,是网络重建高质量图像的关键;
(3)可扩展性差;

贡献

提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征:
(1)使用MSRB来获取不同尺度的图像特征(局部多尺度特征)。
(2)将每个MSRB的输出组合起来进行全局特征融合。
(3)将局部多尺度特征与全局特征相结合,最大限度地利用LR图像特征,彻底解决特征在传输过程中消失的问题。
此外,还引入了一个以1×1卷积核为瓶颈层来获得全局特征融合,还设计了一个简单而高效重建结构可以很容易地迁移到任何放大因子。

网络架构

在这里插入图片描述网络分为(1)特征提取部分;(2)重建部分
特征提取部分又分为:(1)多尺度残差块(MSRB);(2)层次特征融合结构(HFFS)
损失函数采用L1损失。

多尺度残差块(MSRB)

由图可以看出,MSRB由多尺度特征融合和局部残差学习组成
在这里插入图片描述多尺度特征融合:
在这里插入图片描述局部残差学习:
在这里插入图片描述

层次特征融合结构(HFFS)

随着深度的增长,网络的空间表达能力逐渐下降,而语义表达能力逐渐增强。此外,每个MSRB的输出都包含不同的特性。因此,如何充分利用这些层次特征将直接影响重建图像的质量。本文采用了一种简单的层次特征融合结构。我们将MSRB的所有输出发送到网络的末端进行重构。一方面,这些特征图包含了大量的冗余信息。另一方面,将它们直接用于重建将大大增加计算复杂度。为了自适应地从这些层次特性中提取有用的信息,我们引入了一个瓶颈层,这对于具有1×1卷积层是必不可少的。层次特征融合结构(HFFS)的输出可以表示为:
在这里插入图片描述
说了这么多。、,实际就是把每一层的输出进行拼接,之后用1×1卷积核做卷积(bottleneck)。。改变通道数量,称之为特征融合。。

重建

在这里插入图片描述重建部分设计的比较简单,将之前的A.B.C部分进行简化,得到新的重建结构。

猜你喜欢

转载自blog.csdn.net/qq_41332469/article/details/91985295