IDRLP: Image Dehazing Using Region Line Prior

论文题目：IDRLP: Image Dehazing Using Region Line Prior
论文作者：Mingye Ju , Can Ding , Member , IEEE, Charles A. Guo, Wenqi Ren, Member , IEEE, and Dacheng Tao , Fellow, IEEE

摘要

本文提出了一种新的、超鲁棒的单幅图像去噪方法：IDRLP。观察到，当图像被划分为n个区域时，每个区域具有相似的场景深度，模糊图像及其无雾图像对应的亮度都与场景深度呈正相关。基于这一观察，本研究定义，在执行区域分割后，模糊输入及其无模糊对应呈现拟线性关系，称为区域线先验（region line prior，RLP）。将RLP和大气散射模型（ASM）结合起来，得到只需两个未知参数（线性函数的斜率和大气光）的恢复公式（RF）。然后设计了一个考虑两个约束的二维联合优化函数求解RF。这种“联合优化”策略有效地利用了整个图像中的信息，从而获得更准确的结果，具有极高的鲁棒性。最后，在RF中引入了一个引导滤波器，以消除区域分割带来的不利干扰。
从不同的角度对所提出的RLP和IDRLP进行了评估，并与相关的最新技术进行了比较。广泛的分析验证了IDRLP在恢复质量和效率方面优于最先进的图像去雾技术。

介绍

在有雾天气下，由于悬浮在大气中的颗粒物的干扰，拍摄的图像通常会丢失重要特征。
目前最先进的去雾算法大致可分为两类：

• 图像增强方法：
  传统的图像处理方法：增强模糊图像的对比度。优：局部或全局对比度可以提高；缺：由于没有考虑图像模糊理论的精确特征，恢复结果的视觉质量非常有限。
  融合方法：使用两种或更多传统方法对输入图像进行预处理，然后混合预处理图像中包含的有用信息。
  优：融合方法显示出更好的恢复质量；缺：恢复后图像的性能很大程度上取决于预处理方法的有效性。
• 基于大气散射模型（ASM）的方法
  ASM描述模糊图像的形成公式如下：
  
  I表示模糊图像，A表示全球大气光，ρ表示场景反照率或预期的无噪图像，t表示介质传输。
  基于ASM的去雾方法的特点：（1）推断潜在的先验信息；（2）依靠密集的数据处理来建模传输图、估计大气光，然后通过ASM恢复无噪图像。根据得到传输图的方法，基于ASM的去雾方法可分为：像素策略、分块策略、学习策略和非局部策略。
• 像素策略：利用每个像素的最小颜色值构造传输图。优：复杂度低，处理时间相对较短；缺：最小通道包含大量不合理的纹理，需要使用额外的控制因子和后续的模糊算子。
• 分块策略：从每个分块提取局部信息构建传输图。优：与像素策略相比，分块策略具有更强的恢复能力。缺：需要复杂的引导器，以消除该策略引入的光晕伪影（块阴影）。由此提出将传输估计范围从一个分块扩展到一个场景，从而在一定程度上提高恢复性能的场景策略。
• 学习策略：基于深度学习的ASM模糊消除，例如：基于卷积神经网络（CNN）的网络，称为DehazeNet，以使用端到端的方式估计传输图；提出DCP损失函数，以克服合成数据的缺点的无监督训练的深度神经网络；
  将透射光和大气光重新建模为一个新变量，然后使用轻型网络实现端到端雾霾消除。**不使用ASM，**而是直接学习模糊图像和场景反照率之间的潜在转换。这种机制不需要估计透射光和大气光。
• 非局部策略：基于一个关键假设，即模糊图像必须包含近似的颜色、或重复的分块。使用该方法的前提是识别输入图像中的雾线（不同颜色的坐标集）。根据这些颜色线，使用非局部先验估计大气光和传输图。根据这些估计参数，最终基于ASM得到恢复的图像。缺：随着雾霾级别的增加，分类精度降低，从而导致在处理重度雾霾时失去效力，以及在空气灯明显比场景亮的场景中，也会失败。
  所有基于ASM的非学习性去雾方法（都有一个共同的缺点，即忽略成像参数之间的潜在联系。预测大气光→ 估计传输图→场景恢复：一旦无法准确预测大气光，则传输图估计势必受到干扰，所以这些方法鲁棒性相对较低。
• IDRLP：基于分布在模糊图像平面上的不同区域的平均像素强度与相应的无雾图像上的像素强度具有准线性关系的发现，定义为区域线先验RLP。基于RLP和ASM，提出了一种采用联合优化策略的快速图像去雾方法（IDRLP）。该方法将图像去雾转化为一个简单的二维联合优化函数（2D-JOF），大大缩小了去雾的解空间。优：联合优化策略利用整个图像中的信息估计成像参数，恢复可靠，IDRLP无需引入任何额外操作，能够从各种具有挑战性的朦胧图像中去除模糊，同时避免例如过度增强、过度饱和和雾残留的问题。

区域线先验(RLP)

基于ASM的去雾图像方法，缺乏描述大气光和介质传输的信息。
本文提出了一种新的先验知识（RLP），以扩展从模糊图像中推断出的与场景反照率有关的信息。观察到，对于模糊图像和无霾图像，较远的场景通常比较近的场景更亮的发现。即场景深度越小，从相机观察到的纹理强度越高，光吸收效果越强，因此平均亮度越低。
图像被划分为n个区域，每个区域具有相似的场景深度，场景反照率p和场景深度d之间存在关系：

m ∈ {0, n−1}， c∈ {R，G，B}是颜色索引，d是场景深度，Qm是第m个区域中像素的坐标集，|Qm|表示Qm内的像素数。
对于模糊图像，每个区域中像素的平均值会随着场景深度的增加而增加，平均亮度也会更亮。因此：


图3显示出：模糊图像和无雾图像的ˆIm和ˆρm都与ˆdm呈正相关，即平均亮度通常随场景深度的增加而增加。
对于ˆIm和ˆρm的关系：

图4显示出：模糊图像和无雾图像的ˆIm和ˆρm呈准线性关系，具有最小场景深度的区域的ˆρ值总是接近于0.1。ˆIm和ˆρm之间的相关性被确定为一个线性函数，称为区域线先验（RLP）：

k表示斜率，ˆIo表示具有最小场景深度的区域的ˆI值。RLP是一种基于非局部区域的策略，它依赖于模糊图像和场景反照率之间的关系，有利于后续的雾霾去除过程。

IDRLP

基于提出的RLP和ASM，提出了一种简单而有效的图像去雾方法（IDRLP）。IDRLP使用了三个模块：用于推导恢复公式（RF）的先验约束、用于搜索RF中的最佳斜率和大气光的联合优化模块以及场景恢复模块。

恢复公式（RF）的先验约束

IDRLP的第一步是将模糊图像划分为n个非重叠区域（RS），每个区域具有相似的场景深度。然而，由于显式深度信息不可获得的，直接在深度图上进行区域分割是很困难的。因此，使用K-means在模糊图像的蓝色通道上执行区域划分，区域划分后，假设每个区域具有相同的传输值。例如，在第m区域中，其中（x，y）∈ Qm、 投射t(x，y）≈ ˆtm。在这种情况下，ASM可以应用于任何定义的区域，并简化为:

（x，y）∈ Qm，m ∈ {0, n−1}， 上式两边在第m区域求平均：

A拔是A的平均值。第m区域的投射ˆtm:

第m区域的恢复公式（RF）：

（x，y）∈ Qm。由于ˆIm和ˆIo是与I相关的，并且给出I则很容易可以获得。第m区域的RF可以由三个参数表示，即：

Rm（·）是第m区域的RF缩写，I是输入图像，只有斜率k和大气光A尚未确定。
上式RF将复杂的去雾转化为两个参数的估计问题，降低了去雾的不确定性。

联合优化模块

一种鲁棒且易于实现的获取未知参数的方法。

为了确定k和A的优化值，使用了具有两个约束的联合优化。
图像去杂的实质是在成像过程中排除大气光引起的亮度干扰，即高质量图像的平均亮度往往有一个特定值μ。

&1(·)是平均算子。但仅仅利用这个约束来调整亮度是不够的，它可能会导致显著的信息丢失，即一些像素将完全变成黑色或白色。
因此，第二个约束是在调整亮度时确保信息损失最小：

&2(·)是计算信息丢失率（ILR）的运算符。
考虑到这两个约束条件，设计了一种联合估计策略来寻求k和a的最佳组合，即Kp和Ap。
从形式上讲，它可以表示为：

大气光A = [AR，AG，AB]，为了降低复杂性，使用更简洁的形式来定义大气光：

τ是大气光的振幅，它的颜色方向o = [oR，oG，oB]可通过白点法获得。则由k和τ表示的2D联合优化函数（2D-JOF）如下所示：

此时：


↓ω是一个系数为ω的下采样算子，引入ω可以进一步降低计算复杂度。值得注意的是，下采样操作不会影响参数的估计精度。
为了解决这个2D-JOF问题，建议使用坐标下降，其关键思想是交替最小化k和τ（通过固定其他参数），直到它们收敛。
具体而言，第j次迭代后2D-JOF的解可通过以下公式计算：
上面两个式子都是一维可搜索问题，可以通过斐波那契算法（FA）解决。
在这项工作中，初始化k1=0.5，并将停止标准条件设置为δ（j）=|τj− τ（j−1）|≤ e = 10^−3。迭代完成后，可以得到大气光Ap=τj· [oR，oG，oB]，斜率kp=kj。

场景恢复模块

一旦确定了斜率和大气光，就可以通过使用RF遍历所有区域恢复无雾图像。
然而并不能达到期望的效果，这主要是由于区域分割是在蓝色通道上实现的，而不是使用真实场景深度。
为了解释这一缺陷，引入了一种具有模糊能力的引导滤波器（GF），从而得到最终的RF:

其中tr是通过对所有区域获得的粗略传输图，CR（·）是GF算子。

图5示出了使用GF后的性能增强。未使用GF的恢复图像与基本图像相比，颜色不自然；使用GF时，得到的结果看起来与基本事实完全相同。
算法1概述了所提出的IDRLP的整个过程。除了迭代所有步骤都是简单的操作。但迭代的公式也可由下采样算子加速，易于求解，可以保证高效率。

IDRLP与文献的IDE的比较

IDRLP和IDE，都受到了一种现象的启发，即场景深度越大的区域的像素平均值越高。但是这两种方法针对不同的图像增强任务：
IDE正试图解决去雾结果中的暗淡效应的问题；
IDRLP则利用这种现象在模糊图像与其无雾图像对应之间建立关系。
下图为IDE和IDRLP的流程图：

IDE将光吸收率引入ASM，得到增强ASM（EASM）。然后通过将基于分块的灰色世界假设（PGWA）和DCP估计的大气光A加在EASM上，推导出传输计算公式（TCF）。
解决TCF问题：设计了一个全局拉伸策略，通过预先设置一个可接受的饱和度来增强结果，从而生成准确的传输图。
通过传输图和估计的大气光A，基于EASM恢复出图像。

IDRLP的第一步是使用K均值实现区域分割（RS）。然后根据提出的RLP（它利用上述观测朦胧和无霾图像），基于ASM将去雾转换为由两个未知参数（RLP斜率和大气光）组成的恢复公式（RF）。
求解RF：通过对该RF公式施加两个约束，这些参数可以通过迭代求解，从而恢复无雾结果。最后为了消除分割区域带来的干扰，引入了一种具有模糊能力的引导滤波器（GF），从而得到最终的恢复图像。