图像降噪综述

1. 概述

图像系统中的噪声来自多方面 ，有电子元器件 ，如电阻引起的热噪声；真空器件引起的散粒噪声和闪烁噪声；面结型晶体管产生的颗粒噪声和噪声；场效应管的沟道热噪声；光电管的光量子噪声和电子起伏噪声；摄像管引起的各种噪声等等。由这些元器件组成各种电子线路以及构成的设备又将使这些噪声产生不同的变换而形成局部线路和设备的噪声。另外还有就是光学现象所产生的图像噪声（如医学图像中X射线的量子噪声）。
由于噪声的存在，我们在理解图像中的重要信息时会受到干扰。通常情况下，图像噪声被视为一种多维随机过程，因此可以选择概率分布函数和概率密度函数来对图像噪声进行描述。

2. 噪声模型

图像降噪模型可以建模为：

其中，y是观察到的噪声图像，x是图像真值，n是图像噪声，图像降噪过程就是通过y获取x。
对噪声建模主要有一下几种类型：
（1）高斯噪声
高斯噪声是最常见也是最重要的的一种噪声，众多的图像降噪算法都是以降低高斯噪声为目标设计的，其概率密度函数如下所示：

（2）瑞利噪声
瑞丽噪声的概率密度函数如下所示：

概率密度的均值和方法分别为：

瑞利噪声对于图像直方图近似倾斜的图像中的噪声建模较为有效。
(3）伽马噪声
伽马噪声的概率密度函数如下所示：

其中均值和方差分别为：

伽马噪声相对瑞利噪声分布会更加倾斜
(4）指数噪声
指数噪声的概率密度函数如下所示：

其概率密度函数的均值和方差分别为：

(5）量化噪声
量化噪声又称均匀噪声，此类噪声是由于将模拟数据转换为数字数据而引起的，因此是幅度量化过程中固有的，其概率密度函数如下：

（6）椒盐噪声
椒盐噪声又称脉冲噪声、尖峰噪声，在图像上表现为随机分布的黑白点，其概率密度函数如下图所示：

椒盐噪声可以通过中值滤波器进行消除。
（7）泊松噪声
泊松噪声又称散粒噪声，我们知道，光源每秒发射的光子到达CMOS的越多，则该像素的灰度值越大。但是因为光源发射和CMOS接收之间都有可能存在一些因素导致某个光子并没有被CMOS接收到或者某个像素一时间段内发射的光子特别多，所以这就导致了灰度值的波动，也就产生了泊松噪声，方程描述为：

这个公式说明的是某个像素在间隔时间τ 内接收到k 光子的概率为多少。
（8）斑点噪声
在相干成像系统（如雷达，激光和声学等）中可以看到斑点噪声的出现，其概率密度函数如下：

斑点噪声在光学成像系统中很少出现，因此这里不作赘述。
(9）周期性噪声
周期性噪声无法用概率密度函数进行描述，也无法在空间域中进行消除，通常的方法是通过频域中的带阻滤波器进行消除。

3. 图像降噪

根据噪声水平是否已知，图像去噪可以分为盲去噪和非盲去噪。对于非盲去噪，噪声水平被视为一个已知的参数；对于盲去噪算法来说，噪声水平是未知的。因此对于去噪算法来说，噪声水平是一个很重要的参数。

（1） 均值滤波

（2）中值滤波

（3） 高斯滤波
高斯滤波（Gaussian filtering）是将图像邻域中每个输入像素的像素值与高斯核进行卷积，最后输出卷积后的像素值，即邻域像素的加权平均。它的平滑程度取决于高斯滤波的标准差，而非简单平滑过程。
二维高斯分布函数，又称为正态分布，其函数定义如下：

其中，σ^2是高斯滤波的方差，控制着 Gaussian 滤波器的平滑程度。
图像u0(x,y)经过高斯模板f(x,y)得到的滤波后图像为：

从上式可以看出，这是一种各向同性滤波器，相比于图像的简单平滑，在保留图形全局特征方面有很大改进，然而高斯核对图像中所有像素进行相同处理时，无法辨别被处理的像素信息是平缓的普通区域还是边缘区域，结果就会退化，并模糊图像中本来的边缘或纹理信息，客观上削弱了图像的视觉质量。

（4） 双边滤波（NLM）
双边滤波（Bilateral filter）由空间邻近度因子和灰度相似度因子两个部分组成，以实现降噪保边的目的。
图像中，灰度值 j 对i 的权值为：

其中，I_i，I_j为像素的灰度值；K_i为归一化因子；σ_1^2和σ_22分别为空间距离和灰度距离的衰减因子。根据指数衰减函数的形式可以看出，两个灰度值的差值越大，权值越小，降噪程度降低；相反的，两个灰度值的差值越小，权值则越大，降噪程度也会增加。这就说明了，双边滤波可以在图像的边缘部分减小降噪效果，保护边缘信息，而在图像的平滑区域提高降噪效果，以更好的滤除噪声。
图像的双边滤波中，输出图像的灰度值依赖于图像邻域灰度值的加权组合，可表达为：

其中定义域（空间邻域）的核为：

值域（灰度相似度）的核为：

双边滤波的权重是由空间邻域和灰度相似度组成的：

（5）各向异性滤波
各向异性扩散（Anisotropic Diffusion）是一种利用偏微分方程的降噪方法，它用到的扩散系数是由迭代出来的梯度值所确定的，而非初始含噪图像的梯度值。最典型的各向异性扩散方法是由Perona和Malik两人提出的非线性各向异性扩散的方程，即PM模型，它的表示式为：

其中，是扩散函数（因子），也是梯度的单调递减函数。

Perona和Malik给出 的经典表达如下：

从式3.10可以看出，沿梯度方向的扩散系数，在平坦区域，梯度值低，扩散系数较大，图像极力平滑，去除噪声；而边缘区域，梯度值高，扩散系数较小，保护细节。当梯度值 u 大于K时，扩散系数逐渐成为负值，图像开始相反方向的扩散，进而增强边缘信息。最终Perona_Malik算法的迭代形式如下：

上式为PM模型的东南西北四个梯度方向。PM模型在扩散过程中，对图像边缘不但具有保持作用，还能有效地去除噪声，对平坦区域具有较强的降噪能力。因此，就有了各向异性扩散的降噪方法。但PM模型的缺点是不能找到噪声与边缘的精确梯度分界线，从而影响梯度值的估计，最后使得噪声变得更大，影响整体地降噪效果。实际上，传统的PM模型在处理图像时会有阶梯效应。

（6） 全变分模型
全变分模型是一个依靠梯度下降法对图像进行平滑的各向异性的模型，希望在图像内部尽可能对图像进行平滑（相邻像素的差值较小），而在图像边缘（图像轮廓）尽可能不去平滑。想要全面了解全变分模型，需要知道泛函分析，梯度下降法，欧拉拉格朗日方程E-L等概念。
最早于1992年，Rudin, Osher和Fatemi提出了经典的全变差图像去噪算法，原文：Nonlinear total variation based noise removal algorithms。
与以往的去噪/滤波算法不同，TV算法是一种图像复原算法，它是将干净的图像从噪声图像中复原出来，通过建立噪声模型，采用最优化算法求解模块，并通过不断迭代的过程，使得复原出的图像无限逼近理想去噪后的图像。与深度学习十分类似，噪声模型类比于损失函数，通过不断训练，使得两者的差距越来越接近，同样需要梯度下降法快速得到最优解。

4 噪声水平估计

噪声水平是去噪方法中重要的指标之一，而错误的噪声估计会很大程度上影响一个去噪方法的效果。目前大部分噪声估计方法均为对高斯白噪声进行噪声水平估计。这些噪声估计方法大致可分为三类：基于滤波器的方法、基于图像块分析的方法和基于统计先验的方法。

（1） 基于滤波器的方法

基于滤波器的估计方法首先使用高通滤波器对噪声图像进行处理，然后根据处理后的图像和原图的差值进行噪声估计，其中一个经典的噪声估计方法为平均绝对偏差。基于滤波器的方法原理筒单，但同样缺点明显，特别是对于一些纹理丰富的图像，所产生的差值图片不全为噪声，极大影响了噪声的估计。

（2） 基于图像块分析的方法

在基于图像块的噪声估计方法中，常规的做法为先将图像分割成一定数量的等大图像块，然后在这些分解后的图像块中按照某些规则去挑选，最后根据挑选中的图像块来估计噪声水平。由于图像块的强度变化主要是由噪声导致，因此常见的挑选图像块的方法为寻找像素值的标准差与最小标准差接近的图像块，或是寻找一些弱纹理的图像块。在中国学者Liu等人于2013年提出的一种结合主成分分析和图像块的噪声估计算法中，他们通过梯度和统计数据选择了没有高频分量的低秩图像块，随后使用主成分分析来估计噪声水平。基于图像块的方法对噪声的变化不太敏感，但是由于图像块的选择结果会随着输入图片和噪声水平波动，因此此类方法在低噪声水平情况下会估计偏高，而在高噪声水平情况下常常低估噪声水平。

（3） 基于统计的噪声估计方法

基于统计的噪声估计方法利用的是自然图像的常规属性，比如自然场景下的图片是非高斯分布的，同时它们带通响应的边缘分布是高度峰态的外国学者Stefano等人于2004年提出了三种基于训练样本和自然图像统计的噪声估计方法。Zoran等人提出了一种对离散余弦变换变化后图氮进行统计分析的方法，指出了峰态值的变化由噪声引起。之后，中国学者Dong将尺度不变性特征和自然图像本身的分段平稳性结合在一起，于2017年提出了一种噪声估计方法。美国德克萨斯大学学者Gupta等人进一步探索尺度不变特性，并于2018年提出了基于自然场景统计的噪声估计方法。

与传统方法相比，神经网络具备更强大的数据拟合能力。哈尔滨工业大学学者Guo等人使用了一个由5层32通道的卷积层构成的神经网络去估计图像的噪声等级，促使去噪网络在真实噪声数据集上极大提升了去噪性能。受到上述方法启发，有作者精心设计了一种基于神经网络的多任务噪声估计模型，可同时估计出图像中噪声的类型及对应的噪声水平。

-------后续将更新相关的算法实现。

参考文献：
[1] https://blog.csdn.net/weixin_44580210/article/details/105087523
[2] https://blog.csdn.net/weixin_45355387/article/details/118968623