【文章阅读】【超解像】–Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections

RED-Net：Residual Encoder-Decoder Networks

1. 主要贡献

提出了卷积反卷积对称网络结构；
卷积和反卷积利用跳层结构相连；
提出的卷积反卷积架构可用于多任务，如image denoising,image super-resolution,JPEG deblocking, non-blind image deblurring image inpainting.

网络整体结构：

在这里插入图片描述

局部模块结构：

在这里插入图片描述

卷积反卷积网络结构

卷积：特征提取，随卷积进行，图像特征被提取，同时噪声的效果被降低，经过多层卷积后，图像的特征被提取出来，也降低了噪声的影响。

反卷积：针对特征的上采样，完成由图像特征到图像的转换，由于利用的是过滤后的噪声后的图像特征，因此达到了降噪、图像修复的目的。

文中通过实验说明利用反卷积结构而不用padding 和upsampling的原因，如下图，反卷积对图像细节有补偿作用。
跳层结构（skip connections）

作用：

1）保留更多的图像细节，协助反卷积层完成图像的恢复工作；

2）反向传播过程中的梯度反向，减少梯度消失，加快模型训练，文章有一些公式推导说明跳层连接对梯度变化的好处，详见论文；

利用图像修复实验说明跳层作用：

多层结构中跳层能减少梯度消失，如下图：

该跳层结构受何大神提出的Resnet激发，比较了该文提出的跳层结构和Resnet的跳层比较，本文提出效果较优：

提升测试效率

为提升模型的运行速度，本文中提出在卷积层使用降采样，在反卷积层利用升采样恢复图像大小。利用实验比较了在不同卷积层降采样对最终性能的影响。

实验条件：图像大小160*240 , i7-2600CPU

结果比较：
在这里插入图片描述
结论：在conv1处降采样，处理速度提升4倍，性能降低了0.1，根据具体应用进行trade-off

实验参数

损失函数:MSE
$L(\Theta)=\frac{1}{N}\sum_{i=0}^N\|F(X^i;\Theta)-Y^i\|^2_F$
(a) filter number:

滤波器大小为3x3,patch大小为50x50,跳层层数为2，不同的滤波个数，32,64,128，结果如下：

(b) filter size

滤波器个数为64,patch大小为50x50,跳层层数为2，不同的滤波器大小为，3x3,5x5,7x7,9x9，结果如下：

© training patch size

滤波器个数为64,滤波器大小为3x3 ,跳层层数为2，不同的patch size，25x25, 50x50,75x75,100x100结果如下：

(d) step size pf skip connections

滤波器个数为64,滤波器大小为3x3 ,跳层层数为2,4,7，不同的patch size为50x50结果如下：

结论：滤波器个数越多，大小越大，训练图像越大，跳层越少性能越好；