A New Low-Light Image Enhancement Algorithm using Camera Response Model阅读札记

A New Low-Light Image Enhancement Algorithm
using Camera Response Model
阅读札记

  论文发表于2017年的ICCV。

Abstract

问题：
  弱光图像能见度低，不利于人类观察和计算机视觉算法。
现况：
  现有的大多数图像增强技术在增加可见性的同时容易造成颜色和亮度失真，为了保持图像的自然性和获得更准确的增强结果，需要考虑相机内处理。
本文方法：
  （1）研究场景相同、曝光不同的两幅图像之间的关系，以获得准确的相机响应模型。
  （2）利用光照估计技术来估计曝光率图。
  （3）使用相机响应模型，根据估计的曝光率图将每个像素调整到适当的曝光。

Background

$\bullet$  相机通过对辐照度进行非线性处理得到图像像素值，可以建模为：

  $P$：像素值
  $E$：为图像辐照度
  $f$：非线性函数CRF

$\bullet$  同一场景中拍摄的两幅图像$P_0$和$P_1$之间不同曝光的映射可以建模为：

  $k$：曝光率
  $g$：亮度变换函数BTF

$\bullet$  根据BTF可以间接估计CRF的函数形式，如图所示，即通过求解以下共参数方程可以得到CRF：

Method

  本文提出的图像增强方法可以建模为：

  $P$：输入图像
  $P^{\prime }$：输出图像
  $K$：曝光率图，表示每个像素的期望曝光率（图像中不同位置曝光率不同，故将曝光率$k$扩展为矩阵$K$）
⭐  根据定义，弱光增强问题可以转化为 $g$和$K$的估计。

1、框架

  传统的Retinex模型为：

  $E$：到达相机的光，即图像辐照度。
  $R$：场景反射率图
  $\circ$：表示元素的相乘
  $T$：场景照明图

  经过相机非线性内处理之后，实际输入图像$P$和期望输出图像$P^{\prime }$为：

故可以推导出：

  $\oslash$：按元素进行除法

2、相机响应模型

    CRF模型（参数由相机决定）
    BTF模型（参数由相机和曝光率决定）

2.1、BTF估计

  为了估计BTF $g$，本文选择一对只有曝光不同的图像$P_0$和$P_1$,绘制各颜色通道的直方图，如图所示:

  欠曝光图像的直方图主要集中在低亮度区域，在传统伽马校正前对像素值进行放大可以使得图像接近真实的良好曝光图像。故使用一个双参数函数描述BTF模型：

  $\beta$，$\gamma$：BTF模型中与曝光率$k$相关的参数
⭐  一般相机的不同颜色通道响应曲线大致相同，故不同颜色通道具有近似相同的模型参数。

2.2、CRF估计

  通过求解以下共参数方程可以得到CRF模型：

  $f$的封闭式解决方案在[1]中给出，如下：

2.3、模型参数确定

⭐  由于BTF对于大多数相机是非线性的，本文主要考虑$\gamma \ne 1$的情况。
  BTF模型中的参数可以推导为：

  相机响应曲线是固定的，故可以通过拟合曲线得到CRF （$a$和$b$）的参数。基于该模型，给定输入图像$P_0$和任意曝光率$k_{\ast }$，可以得到相应的图像$P_{\ast }$，它与BTF模型仅在曝光方面不同：

3、曝光率图估计

  曝光率$K$与光照图$T$成反比，故可以先估计$T$，再求解$K$。本文取各个像素的R、G、B通道中最大值为初始照明估计，并对权重矩阵做出修改，使处理速度更快。
  初始照明估计模型为：
  对于每个像素$x$本文将权重矩阵设计为：

  $|\ast |$：绝对值算子
  $\omega (x)$：像素$x$居中的局部窗口
  $ϵ$：一个非常小的常数，以避免分母为零
  ${\nabla }_d$：一阶导数滤波器，包含${\nabla }_h$ (水平方向)和${\nabla }_v$ (垂直方向)

  故最终照明图$T$为：

  $\lambda$：两项平衡的系数。
  为了防止当光率照趋于0时曝光率变得无穷大，本文设置了光照的下限：

  最后，根据相机响应模型和估计的曝光比图，本文将弱光输入图像的每个像素$P(x)$增强为：
⭐⭐⭐⭐⭐

Experiment

1、色度失真评估

  定性评估：

  定量评估（本文采用CIE Lab颜色空间中两种颜色之间的欧氏距离$∆E$）：

2、亮度失真评估

  定性评估：

  定量评估（本文采用亮度顺序误差(LOE)）：

  $m$：像素数
  $⨁$：异或算子，
  $L(x)$：输入图像在$x$位置处三个颜色通道的最大值。
  $L^{\prime }(x)$：增强图像在$x$位置处三个颜色通道的最大值。
  $U(p,q)$：如果$p\ge q$，则函数$U(p,q)$返回1，否则为0。

3、时间成本

  下图给出了不同方法在时间成本方面的比较：

4、局限性

  （1）如图所示，因为脑后的黑暗区域与黑头发混合在一起，在估计的光照图时，头发被误认为是黑色背景，故随着背景的增强而增强，导致男人的头发变成了灰色。

  （2）虽然假设所有的实验都有一个固定的相机参数，但是使用相机特定的参数如何改变性能还没有被分析。

Conclusion

  本文结合传统的Retinex模型，提出了相机响应模型的增强框架，基于该框架解决了两个问题：
  （1）提出了一个精确的相机响应模型，与现有的双参数模型相比，该模型可以将均方根误差降低一个数量级;
  （2）提出了一种快速的曝光图估计方法。
  本文提出的基于相机响应模型和估计曝光图的图像增强算法，经实验表明取得较好效果。
未来工作：
  （1）对场景进行语义分析, 避免由于忽视场景内容而导致的过度增强。
  （2） 尝试使用深度学习技术来估计照明图。
  （3）探索是否有必要和实际使用单图像的CRF估计技术来获得准确的CRF。

References

[1] S. Mann. Comparametric equations with practical applications in quantigraphic image processing.IEEE transactions on image processing, 9(8):1389–1406, 2000.2,3,4