Toward Convolutional Blind Denoising of Real Photographs

Shi Guo , Zifei Yan , Kai Zhang , Wangmeng Zuo , Lei Zhang

Harbin Institute of Technology, Harbin, 150001, China
Department of Computing, The Hong Kong Polytechnic University, Hong Kong

目前深度卷积神经网络去噪方法

大多数存在的盲去噪的方法都包括两步：噪声估计和非盲目去噪。
深度卷积神经网络的效果依赖于训练数据，但真实噪声图像和干净图像太少，而合成的噪声图像与真实噪声图像相差太大。
真实噪声的特征不能充分地被设计的噪声模型所刻画。
非盲目去噪器（BM3D、FFDNet）对低估噪声等级敏感，而对高估噪声等级表现良好。即在噪声估计网络对噪声图像的噪声估计的噪声等级低于实际噪声等级时，去噪效果不好，但当噪声估计网络对噪声图像的噪声估计的噪声的呢估计高于实际噪声等级时去噪效果良好。

论文的方法是如何借鉴和改进前人的方法

针对第一点，同样分为两个子网络：噪声估计子网络和非盲目去噪子网络
针对第二点和第三点，论文选择同时用合成噪声图像和真实噪声图像交替训练网络。
针对第三点，论文提出了一个更接近真实噪声的模型，既考虑了信号相关的噪声，又考虑了摄像机的处理流水线中的噪声。
针对第四点，论文充分利用BM3D对高估计噪声等级表现良好的特性，选择用非对称的方法来学习，即的那个噪声估计网络高估噪声时，给与一个较小的惩罚，而的那个网络低估噪声等级时，给予较大的惩罚。

论文主要贡献

图像噪声模型在深度卷积神经网络对真实噪声图像去噪中起到关键的作用。论文提出了一个更接近真实噪声的模型，同时考虑了信号相关的噪声和在摄像机的处理流水线中的噪声。
论文提出了一个CBDNet，由噪声估计子网络和非盲目去噪子网络两部分组成。同时使用非对称学习方法。
同时采用合成噪声图像和真实噪声图像训练CBDNet。
在三个数据集上的实验结果表面论文提出的CBDNet相比于前人的方法有突出的效果。

论文的主要方法

噪声模型

信号依赖的噪声：干净图像x，更真实地噪声模型 $n(x)\sim N(0,\delta (y))$ ， $\delta ^2(x)=x\cdot \delta ^2_s+\delta ^2_c$

$n(x)=n_s(x)+n_c$ ，其中 $n_s$ 是信号依赖的噪声， $n_c$ 是静态噪声分量， $n_c$ 是高斯白噪声，方差为 $\delta _c^2$ ，每个像素i的 $n_s$ 噪声都与图像的密度相关。

摄像机图像处理流水线噪声：

$y=M^{-1}(M(f(L+n(x))))$ ，其中y是合成的噪声图像，f是相机响应函数，将幅照度L转换为干净图像x，M是将sRGB图像转变为Bayer图像的函数， $M^{-1}$ 是去马赛克函数。这样就得到了一个合成的噪声图像。

为了扩展到压缩图像，在上式的基础上在加一个JPEG压缩函数，得到压缩图像。

$y=JPEG(M^{-1}(M(f(L+n(x)))))$ 。

$\delta _s,\delta _c$ 分别从 $[0,0.16],[0,0.06]$ 均匀采样得到。f是从201个相机响应函数中均匀采样。压缩质量因子是在 $[60,100]$ 中均匀采样得到。

网络结构

网络主要有两部分组成噪声估计网络 $CNN_E$ 和去噪网络 $CNN_D$ 。

$CNN_E$ 由五个全连接层组成，没有池化层也没有BatchNormailization，每个卷积层的通道数是32，filter大小是3 $\times$ 3，。诶个卷积层后面的激活函数是Relu。

$CNN_D$ 是一个U-Net结构，也是filter是3 $\times$ 3，激活函数是Relu，但在最后一个卷积层的后面没有激活函数。

非对称学习

非对称学习的思想就是加大对低估网络噪声等级的惩罚，其损失函数定义为：

$L_{asymm}=\sum_i|\alpha -I_{\hat{\sigma }(y_i)-\sigma (y_i)<0}|\cdot (\hat{\sigma }(y_i)-\sigma (y_i))^2$

其中 $\hat{\sigma }(y_i)$ 是噪声估计网络估计的噪声等级， $\sigma (y_i)$ 是真实的噪声等级， $if \, e<0,I_e=1,$ 且 $\alpha$ 设置为 $0<\alpha <0.5$ ，这就使得在网络低估噪声等级时，即 $\hat{\sigma }(y_i)$ < $\sigma (y_i)$ ，I=1， $|\alpha -I|> 0.5$ ，当网络甘谷噪声等级时，即 $\hat{\sigma }(y_i)$ > $\sigma (y_i)$ ，I=0， $|\alpha -I|=\alpha < 0.5$ 。