用于夜视和监控的图像增强方法
目录
论文《Experiments on image enhancement for night-vision and surveillance》阅读
摘要
本文综述了近年来夜视彩色图像增强技术在监控中的应用进展。受先前开发的色彩稳定性方案的启发，我们首先测试简单的算法来增强暗图像。这些方法已成功应用于不同的研究领域，然而，这种增强方法有时不能产生逼真的颜色。我们继续我们的讨论，现在应用日光图像的颜色映射，将一阶统计数据从目标图像传输到黑暗图像。特别是，我们探索了在RLAB颜色空间中使用颜色转移算法，图像具有逼真和生动的颜色。最后，这里注释的另一种方法，包括在颜色查找表框架中应用统计映射方法，实现了颜色的稳定性和计算的简单性。一些实验结果显示和讨论，这些方法在视频监控方面具有重要的意义。
关键词：夜视图像，颜色恒常性，颜色迁移，视频监控，图像增强
介绍
夜视与监控在军事、场景识别以及安防等关键领域具有广泛的应用，夜视，是指在夜间或光线很暗的条件下观察行为。传统上，夜间成像系统有两种常见的方法。低光(图像增强)相机和热红外(IR)相机。第一种是将少数可见光增加到近红外波段(VNIR)。第二种类型的系统将热能从中波(335µm)或长波(8 8 12µm)的红外光谱转换为可见的图像。
人眼在任何时刻都无法分辨出所有的灰色色调，夜视图像通常也难以分辨。尽管如此，几十年来，灰度(或绿色)表示一直是夜视领域的标准。相比之下，人们可以通过不同的色调、饱和度和亮度辨别数千种颜色。因此，在监视和安全应用中，彩色图像比单色图像有许多好处，颜色表示可能有助于夜视图像的识别和解释。
夜视的第三种方法包括在夜间或弱光条件下再现图像颜色的方法。一种生成更好颜色表示的简单方法是在暗图像中拉伸动态范围。主要有三种增强图像动态范围的方法:颜色恒常性、颜色转移和基于样本的颜色映射。颜色恒常性和颜色转移引起了人们的注意，因为它们都可以在使用标准相机捕获的图像中执行。相比之下，由于多光谱图像和传感器系统的日益普及，图像融合得到了发展。颜色恒常性，被定义为系统识别物体表面的实际颜色的能力，而不受场景中光源的影响。根据计算的观点，颜色恒常性被认为是在未知光照下获取的输入图像，与明显在日光下获得的另一幅图像的转换，Provenzi等人研究了两种色不变算法的使用，即白斑(WP)、和灰色世界(GW)，用于彩色图像增强目的。虽然颜色恒常性算法最初只是为光源的颜色估计而开发的，但当应用于深色图像时，它们大大改善了色彩内容。因此，色彩恒常性算法是增强暗图像的一种选择。从而在机器视觉系统中模拟，并在一定程度上，人类视觉系统天生具有纠正光源对感知颜色的影响的能力。然而，这种方案会产生不自然颜色外观的假彩色图像。
目前，色彩迁移技术，也就是文献中所称的色彩迁移，是另一种正在考虑的用于弱光条件下图像增强的方法。颜色迁移方法的目的是通过在该图像和作为参考的另一图像之间产生转移来重新着色给定的图像或视频。通常有三种策略处理图像之间的颜色迁移;使用基于几何的方法，统计方法和解决方案协助用户。一些研究已经证明，如果夜间图像的颜色转换设计得当，它可以改善观察者的解释和反应时间。这些研究专门针对场景分割和分类等任务，然而，不正确的颜色分配(错误的颜色)可能会妨碍正确性，因此，颜色迁移可以是一个可行的选择，以纠正这些错误的颜色。
最后，我们可以说图像融合是另一种用于夜视任务的技术。这种技术可以增加图像中的视觉信息，例如，结合RGB空间中的波段来增加传感器系统的动态范围。在图像融合中，一般采用两幅不同光谱范围的单色图像。将一幅近红外或可见光图像作为R分量，将一幅热图像设计为G分量。这种融合有助于创建一个查找表，以便将颜色转移到其他图像。
在本研究中，我们描述了上述算法及其在暗图像增强中的应用。我们包括基于颜色恒常性的增强实验，将白天的图像映射到夜晚的图像，以及在基于样本的颜色映射中使用查找表进行图像融合的实验。讨论了其存在的问题和优点，强调了其在夜间监视任务中的可能应用。
本文的其余部分组织如下。在第2节中，我们将介绍夜视和监视任务中常用的一些方法。第3节介绍并讨论实验结果，第四节是结束语。
2、夜视图像增强方法
本研究中所讨论的方法集中于将暗图像转换为另一幅具有自然外观的图像。在本节中，我们将介绍实现这种转换的这些方法的基础知识。首先，介绍了几种颜色恒常性算法。其次，提出了一种统计色迁移技术。最后，我们描述了如何利用查表法实现图像的亮度。
A、颜色恒常性
两种常用的颜色恒常性算法，分别是白板法（WP）和灰度世界算法，假设整个场景的光照是均匀的，一个光源下图像颜色强度的关系是：
其中fi(x, y)为位置(x, y)处的像素强度，G(x, y)为几何因子，Ri(x, y)为物体的反射率，Ii为发光体，i为颜色通道。
一旦色彩恒常性算法应用于图像fi(x, y)，结果oi(x, y)，只依赖于G(x, y)和颜色恒常性算法假设输出图像oi(x, y) = G(x, y)Ri(x, y)Ii0，受白光光源的影响，其中I0 ={1,1,1}为输出中的发光体。那么，输出和输入之间的关系是：
1）、白板法
提出了Retinex算法。这个算法最简单的形式叫做白板Retinex (WP)，它将每个颜色通道中的最高值作为图像的白色表示。通过计算，这些值是从每个通道的最大强度中找到的Ii = max{fi(x, y)}。然后，根据Eq.(2)计算的光照对所有像素的强度进行缩放，该算法的结果
图像为
Finlayson等人[21]改进了该算法，对每个颜色通道的直方图进行了99%的光源估计。这种改进就是本文所考虑的WP算法。
2）、灰度世界假设
灰色世界的假设
(GW)是最流行的颜色恒常性算法。它是由Buchsbaum[12]提出的，基于这样的假设，在真实世界的图像中发现的颜色平均趋向于灰色调，因此使用所有像素的平均颜色来估计光源。该算法基本上是根据ai = mean{fi(x, y)}计算光源。为了简化该方法，在[22]中提出了一些假设，光源采用Ii≈2ai。然后给出了该算法的结果图像
GW假设对于夜间图像的增强很有用，可以清晰地照亮黑暗区域，但可以避免应用WP时可能出现的饱和。
B、统计颜色迁移
颜色迁移方法的目的是通过在该图像和作为参考的另一图像之间导出映射来重新着色给定的图像或视频，本研究采用Reinhard等人[24]的建议，只计算图像中的全局统计量。该方法的目标是创建一个看起来与参考图像相似的新图像，名为target。
该方法是利用lαβ颜色空间提出的，尽管CIELAB模型的使用也在考虑[25]。在本研究中，我们提出了在RLAB颜色空间的颜色迁移的结果。首先将图像转换到RLAB颜色空间，然后在亮度通道和两个颜色分量中进行颜色转移。RLAB空间，是CIELAB空间的改进，纠正了由CIELAB在极端照明下(非常低或高)[26]。后来，Fairchild[27]在这个空间进行了细化，以进一步完善模型。只有平均和标准偏差使用沿每三个颜色通道或组件;因此，在源图像和目标图像中都得到了这些测量值。值得注意的是，下面分别计算了每个i通道的平均值和标准偏差
µ我和σ是各自的平均值和标准偏差,我对应索引通道。其中，信号T和S分别对应目标图像和源图像。
对应信道的源和目标之间的分布传输由下一个一般方程执行
其中O表示传输中的输出图像。最后，为了实现可视化目的，我们将图像恢复到RGB模式。图2显示了色彩转移的两个例子。在第一种情况下，应用程序在一个假彩色图像上，在第二种情况下，应用程序在一个黑暗场景后的结果。
图2所示。色彩转移的两个例子。(a)一个假彩色图像，(b)一个真实的日光颜色参考图像[3]，(c)颜色从参考图像(b)转移到(a)图像后得到的结果。(d)图像综合变暗，(e)以(b)为参考的对应结果。
C.基于采样的颜色映射
提出了一种基于查找表的方法[3]，用于将逼真的颜色应用于多波段(通常是视觉、近红外和热)图像。颜色迁移来源于一组对应的样本，对于这些样本，多波段传感器的值和对应的真实颜色(RGB-value)都是已知的。与统计方法相比，这种方法可以得到与白天颜色更接近的多波段图像。尽管如此，与统计方法相比，颜色映射的推导需要一个由多波段图像和相同场景的白天参考图像组成的注册图像对，因为在这种方法中使用相应的像素集来定义颜色变换对。一旦色彩映射得到，它可以应用到不同的多波段夜间图像。同样，颜色迁移是使用颜色查找表转换来实现的，因此支持实时实现。
该方法的工作原理如下。给定一组样本(像素)的多波段传感器输出和相应的白天颜色都是已知的。推导最佳颜色变换的问题是找到一个最优映射N维(在我们的例子中，N = 2)多波段传感器输出向量(每个样本一个)到对应于白天颜色(RGB)的三维向量的变换。
首先，将视觉图像作为R通道的输入，将近红外图像作为G通道的输入，将多波段传感器图像转换为伪彩色图像(图3a和图3b)，称为RG图像(图3c)。将两个波段映射到一个伪彩色RGB图像允许我们使用标准的图像转换技术，如索引。下一步，得到的假色(RG图像，转换为索引映像。图像中的每个像素都包含一个索引。索引指的是颜色查表中的RGB值。图3c)，对于表示给定R-G组合的每个指标，通过用该指标定位目标图像中的像素，并在(真实感颜色)参考图像中找到相应的像素，得到相应的真实感颜色，在这种情况下，所有像素都位于带有颜色索引的伪彩色多波段目标图像中。然后，收集参考日间彩色图像中所有对应的像素(即图像坐标相同的像素)，并计算其平均值。最后，将这个RGB值的平均值分配给新颜色查找表的i个索引。对所有颜色指标依次进行这些步骤。此过程生成一个新的颜色查找表，其中包含假颜色(RG)颜色查找表中与各种多波段组合相关联的真实颜色。(图3)。将RG颜色查找表(图3d)替换为逼真的颜色查找表(图3e)生成了一个具有逼真颜色外观的图像，其中的颜色针对这个特定的样本集进行了优化。
图3所示。颜色映射。(a)可见光图像(b)同一景物的近红外图像。(c)将(a)赋值给RGB彩色图像的R通道，(b)赋值给G通道(b通道设为0)，得到(a)和(b)的RG伪颜色表示;这张彩色地图如(d)所示。从(c)和(f)中对应的像素对导出的颜色映射，即真实的日光颜色参考图像[3]。(g)将(e)中的映射方案应用于(c)中的双波段假彩色图像的结果。
3、实验结果
据我们所知，目前还没有用于此类研究目的的黑色图像数据库。因此，我们创建了一个100张用标准相机拍摄的暗图像的集合。60张照片是在暗光条件下拍摄的在月光下。剩下的40张是合成变暗的日光图像。此外，图像集包含20个在日光条件下拍摄的目标图像。
目标图像是在日光条件下拍摄的不同的自然场景。最近进行了一些关于颜色恒常性和色迁移的实验。例如，一项研究表明，色彩恒常性算法是增强暗图像[13]的一个很好的工具。此外，我们正在进行的实验表明，对于使用颜色迁移处理深色图像，RLAB颜色空间是最适合的。第一个例子是关于增强户外图像。数字4显示了这张暗图及其对应的结果。图4b是使用WP算法的结果，4c是使用GW算法的结果。图4d是用于颜色转移的颜色参考，图4e是基于样本的颜色映射的结果。第二个例子，如图5所示，包括一个室内图像。
4、讨论
目前研究的方向是将一个夜间图像转换成另一个白天的图像。三种方法来实现这一增强已经被探索:颜色恒常性，颜色迁移，和基于样本的颜色映射从图像融合领域。前两种方法只使用一个标准相机的输入彩色图像，而不是后一种方法所需的两个或更多的图像(在近红外或红外波段)。特别是，我们探索了在RLAB颜色空间中使用颜色转移算法，取得了出色的效果。尽管如此，在实际应用中，噪声消除步骤是必要的。此外，我们使用了自己的使用标准相机捕获的暗图像数据集。结果应用所讨论的方法，可以促进夜间图像识别及其解释，并为监视和安全问题获得许多好处。此外，由于计算简单，这些方法可以用于移动设备。
图4所示。户外的例子。(a)原始暗图像。(b）WP算法的结果。(c)使用灰色世界算法的结果。(d)颜色参考图像。(e)结果使用(d)在统计色转移。
图5所示。室内的例子。(a)原始暗图像。(b)白斑算法的结果。(c)使用灰色世界算法的结果。(d)颜色参考图像。(e)结果使用(d)在统计色转移。