现有的主流图像去噪研究成果学习笔记

简述

造成图像退化的关键原因：大气干扰、光线干扰、噪声干扰、相机抖动、时延拍摄。一副图像由不同的图像成分组成：平滑区域、边缘和细节。为了获得高质量去噪结果的图像，对同一特征图的不同性质像素点应该进行区别化的处理：对光滑的区域进行更强的约束，对边缘和细节区域尽可能保留有效地信息。所以在去除噪声的同时更加倾向于保留细节和边缘信息。优秀的去噪网络应该针对不同的图像区域应用判别式的学习能力并进行区别化去噪。

常见的噪声类型：高斯白噪声、椒盐噪声、泊松噪声

现有的主要去噪方法：NLM（非局部模块）、ResB（残差块）

NLM捕捉图像全局信息，提升网络的表达能力；

ResB保证网络训练的稳定性；

研究现状：包含两类传统-基于建模最优化的图像去噪，深度学习去噪

各种常见去噪算法列举

传统-基于建模最优化的图像去噪

均值滤波、非均值滤波（NLMF）、小波收缩估计滤波器的去噪算法、经验维纳滤波方法、块匹配 3D 滤波(BM3D)算法、

空间域滤波：在噪声图像基础上直接运算像素值，低通滤波、邻域平均、中值滤波
变换域滤波：空间域-变换域去噪空间域，图像在变换域噪声数据会呈现一定特征，常见：傅里叶变换、沃尔什一哈达玛变换、余弦变换、K-L变换、小波变换

深度学习去噪

CNN的方法突破了最优化化方法的瓶颈，区域感知去噪（RAID）、高斯去噪器（DnCNN）、Noise2Noise、Noise2Void、Noise2Self、卷积盲去噪网络（CBDNet）

变分法：全变分（TV），通过优化能量函数进行图像的去噪。后续的TV公式优化涉及到扩散参数的选择，扩散参数是决定图像去噪质量的关键。p9

空间域滤波算法

中值滤波：脉冲噪声的去噪效果好
加权中值滤波：对相似像素赋较大权重，差异大的像素赋小权重，最后加权平均
非均值滤波（NLMF）：遍历整幅图像的图像块，利用欧氏距离判定图像块与目标图像块的相似度，根据相似度筛选出相似图像块进行协助去噪

变换域滤波算法

小波变换：频域去噪，对信号进行分解剥离出噪声，再进行还原，对图像中的低频部分有较好的效果
维纳滤波去噪
BM3D：结合了空间域滤波和变换域滤波的优点，它先汲取了 NLMF 中的计算相似块的思想，然后又利用小波变换去噪法和维纳滤波去噪方法，属于多步骤去噪处理

深度学习去噪算法

DnCNN
CBDNet：提出全变差损失，在利用先验知识的同时，对损失项加入权重系数，这样有利于对图像进行平滑性约束。
Noise2Self：利用覆盖(Mask)卷积核，遮盖目标像素值，通过网络学习的方式利用周围像素点对应权重，加权表征目标像素值
RIDNet：对于真实噪声去除一般去噪采用两阶段（噪声估计-噪声去除），RIDNet 采用一个模型仅一个阶段的噪声去除；RIDNet 是第一篇将通道注意力机制应用于图像去噪的文章

图像去噪的评价指标

主观评价：肉眼观察图像清晰度、色彩饱和度、对比真实去噪图像效果、去噪结果的平滑程度，实验人员分两组：具有专业图像处理知识的、不具备专业图像处理知识的。
客观评价：为了评估准确性使用有参照图的方法进行图像质量估计。评价指标：均方误差、信噪比、峰值信噪比、结构相似性
均方误差(MSE)：计算噪声图像和纯净图像之间每个像素点之间的均方差

信噪比（SNR）：检测计算图像的常用参数，数值越大图像质量越高

峰值信噪比（PSNR）：与图像质量呈正相关
```
Y(i,j)修复图像的像素
IGT（i,j）真值图像的像素
 H是长度、W是宽度，SNR和PSNR均可反应图像清晰度，数值越高图像质量越高；
```
结构相似性（SSIM）：基于样本Y和IGT的亮度、对比度和结构进行计算

数据集和实验结果分析

合成彩色数据集：CBSD68、Kodak24、Urban100、Set14

灰色数据集：Set12、BSD68 （CBSD68 的灰度版本）

真实噪声图像数据集：RNI15

利用CBSD68、Kodak24、Urban100 三个测试数据集，并采用了伯克利分割数据集(BSD500)作为训练集。在三种标准差噪声水平：30、50、70 进行测试。

名词解释

image denoising 图像去噪

convolutional neural network 卷积神经网络

spatial attention mechanism 空间注意机制

通道注意力：注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息中的一部分，同时忽略其他可见信息。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后重点关注它。
注意力机制没有严格的数学定义，例如传统的局部图像特征提取、滑动窗口方法等都可以看作是一种注意力机制。在神经网络中，注意力机制通常是一个额外的神经网络，能够硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。注意力机制能够从大量的信息中筛选出重要的信息。
在神经网络中引入注意力机制有很多种方法，以卷积神经网络为例，可以在空间维度增加引入注意力机制，也可以在通道维度增加注意力机制（SE），当然也有混合维度（CBAM）即空间维度和通道维度增加注意力机制。
通道注意力机制最早来自 SENet它不仅可适用于图像分割、图像识别、图像分类领域，还可以适用于图像复原（图像去模糊、图像超分辨率重建、图像去噪）等领域。通过一系列的池化和全连接运算融合通道间的相关性，这样对于图像处理领域能够较好地实现目标并且保证图像的特征不被破坏。在通道注意力机制出现后，基于空间的注意力机制也相继出现，能够更好的促进网络理解图像通道、空间之间的相关性

特征图：https://blog.csdn.net/MengYa_Dream/article/details/123705503

残差块：https://zhuanlan.zhihu.com/p/42706477

小波去噪算法：频域去噪，对信号进行分解剥离出噪声，再进行还原，对图像中的低频部分有较好的效果

维纳滤波器：维纳滤波是在频域中处理图像的一种算法，是一种非常经典的图像增强算法，不仅可以进行图像去噪声，还可以应用于图像去模糊领域

梯度消失：网络在加深的过程中，分布发生了偏移或者变化。DnCNN中使用批量标准化BN解决这一问题。

消融实验：设置对照组，通过在设计的系统中消除某一个模块来证明该模块的必要性，如果在该模块被消除后整个系统的性能大幅下降或得到的结果较差就说明该模块在系统中起到了作用。

消融研究对于深度学习研究至关重要。理解系统中的因果关系是产生可靠知识的最直接方式（任何研究的目标）。
消融是一种非常省力的方式来研究因果关系。如果您采用任何复杂的深度学习实验设置，您可能会删除一些模块（或用随机的模块替换一些训练有素的功能）而不会降低性能。
消除研究过程中的噪音：进行消融研究。如果您无法完全理解您的系统？很多活动部件，想确定它的工作原因是否与您的假设密切相关？尝试删除东西。花费至少约10％的实验时间来诚实地反驳你的论文。

【图像去噪研究】现有的主流图像去噪研究成果学习笔记