论文笔记：Deep Image Prior
论文信息：
论文及代码：
https://dmitryulyanov.github.io/deep_image_prior
Abstract
深度卷积神经网络能够很好处理图像生成，和修复任务，其主要的优势在于模型对于大量的数据样本集进行训练，使得模型能够学习到这些数据的先验信息，从而在对于图像处理的时候表现优异。但是本文发现，实际中生成网络能够在模型学习之前就能有效掌握大量low-level的图像统计学信息。证明的实验是，利用一个随机初始化的神经网络就可以作为一个“人工先验”，可以直接应用在图像去噪，超分辨，图像修复等任务中。
除了多样的应用之外，我们的方法强调标准生成网络获得的归纳偏差（the inductive bias）。它在基于深度CNN的学习方法和基于手动设计图像先验（如自相似性）的非学习方法之间建立了桥梁。
1. Introduction
最近，深CNN网络用于图像重建问题，例如：去噪、SISR。另外，还用于解决通过activations或HOG descriptor来重建图像的问题。更普遍地，CNN用于生成图像，例如：generative adversarial networks（对抗生成网络） [11], variational autoencoders [16], and direct pixelwise error minimization [9, 3]。
目前在图像复原，图像生成任务中表现优异的卷积神经网络都是使用大量的数据集进行训练，以往通常的解释是，网络能够学到数据的先验信息。但是这种学习能力不能单一解释深度网络的有效性。作者从《Understanding deep learning requires rethinking generalization》中得到灵感，在该论文中C. Zhang等人用在一个训练集上表现很好的网络结构去基于另一个label都是随机给定的数据集上进行训练，发现居然出现了过拟合的现象。所以不能简单的将模型的性能归功于大量图像数据本身的信息。本文认为，还有网络结构本身的作用没有分析清楚。
本文认为，图像的统计学信息是通过卷积图像生成器而不是网络学习得到的。
本文使用未被训练的cnn网络（其中的权重都是随机初始化的），然后数据上只需要输入一张被损坏的图片。在这个过程中，网络的权重扮演着图像恢复时候所需要的参数：即给定一个随机初始化的网络，然后基于给定的受损图片和任务依赖的观测模型，通过迭代使得模型参数逼近最大似然。
所以唯一需要的信息就是单幅退化图和用于重建的网络的手工设计的特征。
作者发现这种构想是更加卓越的方法，因为网络没有对于数据进行过训练；由于网络权重是随机的，所以唯一的先验信息是来自网络结构本身。这种思路在之前是没有被提出过的。
本文认为，可以用生成网络本身取替代设计的 natural prior，比如TV项。
2. Method
CNN对自然图像信号阻抗低，对噪声阻抗大。
3. Applications
文章在实验过程中发现，使用MSE损失，模型对于纯0/1噪声以及完成图像将像素点随机打乱后的图像进行收敛很难，而完整图像叠加噪声以及完整图像不加噪声的数据能够更容易收敛。
通过这样的研究意味着，限定模型的训练迭代次数之后，可以将图像任务优先完成，而随机噪声等就会在未收敛时被去除，从而达到去噪的任务。
通过这样的思想，作者发现在生成模型训练很久之后，模型F可以生成和X一致分布的图像X~；而在训练中进行迭代次数限制之后，可以让模型输出修复的图像X^；
这样的实验说明了生成网络有一种能力，能够先学会图像X中没有被破坏的部分，然后再学习被破坏部分的优化。例如，会学习如何复制一张没有噪声的图像，然后再去复制这些噪声点。
这种不需要对于预修复数据集进行训练的方法能够实现模型的转化任务，并且对比与专一的转化模型方法，如去噪的CBM3D，超分辨的SRResNet，LapSRN，图像Inpainting的Globally and locally consistent image completion等方法，这种模型思想更加简单而且通用性强，网络参数也可能会少一些（我个人的看法），尽管模型还没有达到上述模型那么高的处理性能，但是模型也是有不错的处理效果。