【超分辨率】回顾深度学习超分辨率开山之作SRCNN

论文地址:Image Super-Resolution Using Deep Convolutional Networks

要点1:

本文发表于2014年的ECCV上,是深度学习做超分辨率的开山之作,开启了超分辨率的深度学习时代,在进行深度学习超分辨率的研究过程中,这篇经典的文章还是很值得回味的。

传统的基于稀疏编码的超分辨率方法都是分好多个步骤对图像进行处理,本文提出一个端到端的网络来直接学习超分辨率映射,并且效果超过了现有的所有传统方法。

要点2:

在这里插入图片描述
整体的处理流程分三步,首先对输入的LR图像进行块提取和特征表示、然后对提取到的特征进行非线性映射,将低分辨率特征映射到高分辨率特征,最终利用高分辨率特征重建出高分辨率图像。其实这里的每一步都对应着一些传统方法,本文的伟大之处就是用简单的几个可学习的卷积层将传统算法代替,从而直接进行端到端的超分辨率处理。

完成这三种操作其实非常简单,从代码中可以看出只是三个简单的卷积层就能完成:
在这里插入图片描述
结构虽然简单但每一层都有明确的目的,第一层也是直接处理低分辨率图像的卷积层,所以它能够提取出低分辨率图像的特征。低分辨率的特征需要转换为高分辨率的特征,才能够实现超分辨率的任务,所以第二层卷积能够学习低分辨率特征到高分辨率特征的映射,从而实现特征的转换。最后一层卷积便是学习如何将特征图又恢复成图像,这样也就得到了重建的高分辨率图像。

在训练过程中,损失函数直接采用的是MSE损失,因为在PSNR中,MSE在分母,它越小,恢复出来的图像的PSNR也就越大。

总结

本文提出了一种端到端的超分辨率方法SRCNN,开创性地使用卷积神经网络来完成超分辨率任务。实验表明,SRCNN性能超过现有一切超分辨率方法(论文发表当年)。本文还猜想,可以改进卷积核的尺寸和网络结构,进一步提高网络的性能。

事实证明,作者猜想的很正确,后面确实出现了一系列的延伸工作,超分辨率的深度时代自此开始。

猜你喜欢

转载自blog.csdn.net/weixin_43728604/article/details/120849410