Dual Illumination Estimation for Robust Exposure Correction阅读札记

Dual Illumination Estimation for Robust
Exposure Correction
阅读札记

  论文发表于2019年的CGF。

Abstract

  本文方法主要解决图像错误曝光的问题，可处理欠曝光、过曝光、同时有欠曝光和过曝光的图像。本文方法的核心通过对输入图像进行双照度估计，得到两个中间曝光校正结果，一个校正欠曝光区域，另一个校正过曝光区域。然后利用图像融合技术将两个中间曝光校正图像和输入图像中视觉效果最佳的曝光部分自适应融合，最终得到一张全局良好曝光的图像。

Introduction

问题：
  在复杂的光照条件下(如微光和背光)拍摄曝光良好的照片对非专业摄影师来说仍然是一个挑战。
现状：
  现有的大多数方法都仅被设计用于校正过曝光或者欠曝光，适用性有限。
启发：
  观察到欠曝光和过曝光校正可以共同表述为输入图像和反向输入图像的一个简单照度估计问题。
本文方法：
   引入双照度估计。
  （1）分别预测输入图像的前向照度和反向输入图像的反向照度。
  （2）从估计的前向照度和反向照度中恢复输入图像的两个中间曝光校正图像，一个恢复欠曝光区域，另一个恢复过曝光区域。
  （3）将两个中间曝光校正图像和输入图像的局部最佳曝光部分融合为全局良好曝光图像。

Method

算法框架图

1、双照度估计

(1)背景
   本文的双照度估计是基于Retinex的图像增强中的假设，假设图像$I$（归一化为[0,1]）可以表示为：

  $I$：输入图像
  $I^{\prime }$：校正后图像
  $L$：照度图

(2)观察
  本文作者观察到，过度曝光校正可以通过反向输入图像来表述为照度估计问题，因为在反向图像中，最初的过曝光区域将显示为曝光不足，因此可校正反向输入图像中相应的欠曝光区域来校正输入图像中的过曝光区域。
  过曝光区域校正过程如图所示：

（a）输入图像$I$
（b）反向图像$I_{inv}$：$I_{inv}=1-I$
（c）照度图$L_{inv}$
（d）反向图像校正欠曝光图$I_{inv}^{\prime }$：$I_{inv}^{\prime }=I_{inv}\times L_{inv}^{-1}$
（e）输入图像校正过曝光图$I^{\prime }$：$I^{\prime }=1-I_{inv}^{\prime }$
  在此基础上，针对输入图像可能存在部分欠曝光和过曝光，本文设计双照度估计，第一遍估计输入图像的前向照度，目的是校正欠曝光区域；第二遍估计输入图像的反向照度，目的是校正过曝光区域。

(3)照度估计框架
  首先以最大的RGB颜色通道作为每个像素的照度值，得到初始照度$L^{\prime }$，表示为:

  $I_p^c$：像素$p$处的颜色通道$c$

  初始照度图中丰富的细节和纹理不是由照明不均匀导致的，这使得从中恢复的结果不真实，因此本文方法通过保留突出结构，去除冗余的纹理细节得到最终的照度图L，定义为：

  ${\partial }_x,{\partial }_y$：水平和垂直方向上的空间导数
  $w_{x,p},w_{y,p}$：空间变化的平滑权值
  第一项${(L_p-L_p^{\prime })}^2$：强制$L$与初始照度映射$L^{\prime }$相似
  第二项：通过最小化偏导数来去除$L^{\prime }$中的冗余纹理细节
  $\lambda$：平衡第一项和第二项的权重（本文设置为0.15达到最好效果）

  ${\Omega }_p$：以像素为中心的15×15平方窗口
  $\epsilon$：固定在1e-3
  $G_{\sigma }(p,q)$：计算像素$p$和$q$之间基于空间亲和力的高斯权值
  $\sigma$：标准差（本文$\sigma =3$）
  $D(p,q)$：计算像$p$和$q$之间的空间欧氏距离

  ⭐$y$方向平滑权值$w_{(y,p)}$的定义与$w_{(x,p)}$类似。

  为了恢复亮度更好的结果，本文对估计照度$L$进行伽马调整，即$L=L^{\gamma }$，通过$I^{\prime }=I\ast (L^{\gamma }{)}^{-1}$恢复曝光校正结果。在本文实验中$\gamma$设为0.6取得较好结果。
  下图展示照度估计在校正欠曝光图像方面的有效性，可以看出纹理细节较少的平滑照度使得最终的欠曝光校正效果更好。

2、图像融合

  通过双照度估计可得到两个中间曝光校正图像，分别是欠曝光校正图$I_f^{\prime }$ 和 过曝光校正图$I_r^{\prime }$，考虑到输入图像I中可能存在正常曝光区域，本文将图像序列 { I f ′ , I r ′ , I } \{I'_f,I'_r,I\} { If′​,Ir′​,I}融合为全局良好曝光图像$I^{\prime }$。
  （1） 计算出序列中的每一副图像的视觉质量图：

  $k$：图像序列中的第$k$幅图像
  $C,S,E$：对比度、饱和度和良好曝光度的定量度量
  ${\beta }_C,{\beta }_S,{\beta }_E$：控制每个测度影响的参数（默认设置为1）

  （2） 将这三个视觉质量图归一化，使它们在每个像素$p$处加起来为一个。
  （3） 采用Burt和Adelson[1]提出的多分辨率图像融合技术对序列图像进行无缝融合。
  图（d）为融合图像，本文作者发现，在融合过程中部分区域（如人脸和天空）的影响被序列中视觉质量较低的相同区域削弱，导致局部最佳曝光区域的质量明显下降。本文方法将视觉质量图归一化改为只保留图像序列中每个像素最大值来修改视觉质量图，表示为：

  修改后的视觉质量图中人脸和云的细节更清晰，对比度更好，颜色更鲜艳，如图(e)所示。

Experiment

1、与现有工具的比较

  本文方法与Photoshop中的Auto-Level、Lightroom中的Auto-Tone和Lightroom中的交互式曝光校正两两比较。

2、与先进方法的比较

  本文方法与HDRNet [2]、DPE [3]、exposure [4]两两比较。

3、与内在图像分解(IID)比较

4、局限性

  （1）当局部区域全黑或者全白时，未能取得较好的校正结果，如图所示：

  （2）当输入图像有噪声时，本文方法可能会放大噪声和细尺度细节

Conclusion

  本文提出一种新的曝光校正方法，对输入图像进行双照度估计，从而生成高质量的中间欠曝光和过曝光校正图像，最后将两幅中间曝光校正图像和输入图像中的局部最佳曝光部分集成为全局良好曝光图像。
未来工作：
  （1） 研究如何在曝光校正过程中抑制噪声。
  （2） 采用语义信息和纹理合成技术来恢复当图像极度欠曝光和过曝光区域中缺失的图像内容。
  （3） 尝试通过引导显著性照度估计来改进结果。

References

[1] Burt P J , Adelson E H . The Laplacian Pyramid as a Compact Image Code[J]. Readings in Computer Vision, 1987, 31(4):671-679.
[2] Gharbi M, Chen J, Barron J T, et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics (TOG), 2017, 36(4): 1-12.
[3] Chen Y S, Wang Y C, Kao M H, et al. Deep photo enhancer: Unpaired learning for image enhancement from photographs with gans[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6306-6314.
[4] Hu Y, He H, Xu C, et al. Exposure: A white-box photo post-processing framework[J]. ACM Transactions on Graphics (TOG), 2018, 37(2): 1-17.

Supplements

Q1：为什么要对图像直接进行欠曝光而不是过曝光？
A1:因为基于Retinex的方法在过度曝光的图像上效果不佳，甚至进一步增加过度曝光区域的曝光，生成了图（b）和（c）。

Q2：为什么使用最大的颜色通道作为初始照度？
A2：根据$I^{\prime }=I\times L^{\prime -1}$，较小的照度可能会有将校正图像$I^{\prime }$的颜色通道发送到色域之外的风险。