一、摘要

已存在的模型存在如下缺点：不同的噪声水平需要不同的模型，不能用来处理空间噪声，缺乏灵活性。

为了解决这些问题，我们提出了一种快速、灵活的卷积神经网络，即FFDNet，它以一个可调的噪声水平图作为输入。提出的

FFDNet对下采样的子图像进行处理，在推理速度和去噪性能之间取得了良好的平衡。与现有的有区别的去噪器相比，

FFDNet具有几个令人满意的特性，包括

(i)处理不同噪音水平的能力

(ii)通过指定非均匀的噪声水平图来消除空间变异噪声的能力;

(iii)即使在CPU上也比基准BM3D更快的速度，同时不牺牲去噪性能。

To overcome the drawbacks of existing CNN based denoising methods, we present a fast and flexible denoising convolutional neural network (FFDNet). Specifically, our FFDNet is formulated as x = F(y; M; Θ), where M is a noise level
map. In the DnCNN model x = F(y; Θσ), the parameters Θσ vary with the change of noise level σ, while in the FFDNet
model, the noise level map is modeled as an input and the model parameters Θ are invariant to noise level. Thus, FFDNet
provides a flexible way to handle different noise levels with a single network.

The main contribution of our work is summarized as follows:

1、提出了一种快速、灵活的图像去噪网络FFDNet。通过一个可调的噪声水平图作为输入，一个FFDNet能够处理不同水平的噪

扫描二维码关注公众号，回复： 11070137 查看本文章

声，以及空间变化的噪声。

2、我们强调确保噪音声级图在控制降噪和细节保护之间的平衡方面发挥作用的重要性。

3、FFDNet在AWGN破坏的合成噪声图像和真实世界噪声图像上都显示了令人感兴趣的结果，展示它在实际图像去噪方面的力。

We present a single discriminative CNN model, namely FFDNet, to achieve the following three objectives:

1、速度快:降噪器在不牺牲降噪性能的前提下，具有很高的降噪效率。

2、灵活性:去噪器能够处理不同噪声水平的图像，甚至空间变化的噪声。

3、稳健性：降噪器在控制降噪和细节保存之间的权衡时不应引入视觉假象。

二、网络结构

在这项工作中，我们采用可调噪声水平图M作为输入，使去噪模型灵活地达到噪声水平。为了提高降噪器的效率，引入了可逆的下采样操作器，以将W*H*C大小的输入图像重新整形为尺寸为W/2*H/2*4C的四个下采样子图像。这里C是通道数，即灰度图像的C=1和彩色图像的C=3。为了使噪声水平图能够通过不引入视觉伪像来稳健地控制降噪和细节保持之间的权衡，我们对卷积滤波器采用正交初始化方法。

inputs: a tensor ~y of size W2 × H2 × (4C + 1) 对于具有噪声水平σ的空间不变AWGN，M是均匀映射，其中所有元素都是σ。

the first convolution layer:“Conv+ReLU”

the middle layers:“Conv+BN+ReLU”

the last convolution layer:“Conv”

零填充用于在每次卷积后保持特征映射的大小不变。在最后一个卷积层之后，应用放大操作作为在输入级中应用的下采样操作符的反向运算符，以产生大小为W*H*C的估计清洁图像x。

噪声水平图

三、实验

A. Dataset Generation and Network Training

1、训练数据集

400 BSD images
400 images selected from the validation set of ImageNet
the 4,744 images from the Waterloo Exploration Database
In each epoch, we randomly crop N = 128×8; 000 patches from these images for training.The noisy patches are obtained by adding AWGN of noise level σ 2 [0; 75] to the clean patches.

The mini-batch size is set as 128, and the rotation and flip based data augmentation is also adopted during training.
2、测试数据集

use BSD68 and Set12 datasets to test FFDNet for removing AWGN noise

use the “RNI6” dataset to test FFDNet for removing real noise

use the quantized “Clip300” dataset which comprises the 100 images of test set from the BSD300 dataset and 200 images from

PASCALVOC 2012 dataset for evaluating FFDNet-Clip

As for color image denoising, we employ four datasets, namely CBSD68, Kodak24 [59], McMaster [60], and “RNI15” [56], [61].

B.Experiments on AWGN Removal

不同方法对噪声水平分别为15、25、35、50和75的SET12数据集的PSNR(DB)结果。最好的两个结果是分别用红色和蓝色突出显示

不同方法在BSD68上的平均PSNR(DB)结果噪音水平分别为15、25、35、50及75

首先，FFDNet大大超过BM3D，并且在BSD68上的各种噪声水平上优于WNNM，MLP和TNRD约0.2dB。第二，当噪声电平低时（例如，），FFDNet稍差于DnCNN，但随着噪声电平的增加（例如，）逐渐优于DnCNN。这种现象可能是由于接收场尺寸和建模能力之间的权衡所致。第三，FFDNet在诸如“House”之类的图像上优于WNNM，而在图像“Barbara”上则不如WNNM。这是因为“芭芭拉”具有丰富的重复结构，可以通过非局部自相似性WNNM方法有效地利用。

为了评估FFDNet-Clip，表IV显示了Clip300数据集上与DCGRF和RBDN的PSNR比较。可以看出，具有匹配噪声水平的FFDNet-Clip实现了比DCGRF和RBDN更好的性能，表明FFDNet在削波设置下表现良好。我们还在剪切设置的BSD68数据集上测试了FFDNet-Clip，发现PSNR结果类似于具有非剪切设置的FFDNet。

对于彩色图像去噪，我们将FFDNet与CBM3D和CDnCNN 进行比较。表V报告了CBSD68，Kodak24和McMaster数据集上不同方法的性能，图4显示了可视化比较。可以看出，FFDNet在定量和定性评估方面在不同噪声水平上始终优于CBM3D，并且与CDnCNN具有竞争性能。

CBM3D，CDnCNN和FFDNet在噪声水平 50上的彩色图像去噪结果。

对于彩色图像的去噪，我们将FFDNet与CBM3D[11]和CDnCNN[20]。表V报告了不同方法在CBSD68、Kodak24和上的性能
McMaster数据集，图4给出了可视化比较。可以看出，在不同的噪声水平下，FFDNet在定量和定性评价上都始终优于CBM3D，并具有与之竞争的性能CDnCNN。

C. Experiments on Spatially Variant AWGN Removal

FFDNet去除空间变异AWGN的例子。(a)噪声图像(20.55dB)，空间变异AWGN。(b) FFDNet的地面真噪级图及相应的去噪图像(30.08dB);(c)利用地面真实噪声水平图的均值和相应的FFDNet去噪图像(27.45dB)构造均匀噪声水平图。

D. Experiments on Noise Level Sensitivity

在所有噪声水平上，FFDNet在输入噪声水平相同的情况下，其去噪效果与BM3D和DnCNN相似。

在固定的输入噪声水平下，三种方法的PSNR值在地面真噪水平较低时趋于一致，在地面真噪水平较高时开始下降。

当输入噪声水平与地面真值水平匹配时，获得最佳的视觉质量。BM3D和FFDNet在较低的输入噪声水平下产生相似的视觉效果，但在较高的输入噪声水平下表现出一定的差异。这两种方法都能在平坦区域平滑噪声，并随着输入噪声水平的增加，逐步平滑图像结构。特别地，FFDNet可能会消除一些低对比度的线结构由于使用了非局部信息，无论输入噪声水平如何，BM3D仍然可以保持平均patch。

使用较高的输入噪声水平通常可以比使用较低的输入噪声水平产生更好的视觉效果。此外，当输入噪声水平略高于地面真值水平时，没有多大的视觉差异。

根据以上观察，FFDNet在平衡降噪和细节保存方面表现出与BM3D和DnCNN相似的噪声水平敏感性。当地面真实噪声水平未知时，设置较大的输入噪声水平比设置较低的输入噪声水平更有利于去除感知质量较好的噪声。

E. Experiments on Real Noisy Images

不同方法对实际噪声图像的灰度图像去噪效果不同。自上而下:噪声图像，噪声诊所降噪图像，BM3D降噪图像，DnCNN降噪图像，dncn - b降噪图像，FFDNet降噪图像。(一)σ= 14 DnCNN (15);(b)σ
= 15;(c)σ= 10;(d)σ= 20;(e)σ= 20;(f)σ= 7 DnCNN (10)。