Low-light images enhancement系列：Kindling the Darkness: A Practical Low-light Image Enhancer

概述

• 作者创建了一个名作KinD的暗光增强网络，分为decomposition network、adjustment network和restoration network三大部分。
• 其中decomposition network利用retinex理论，将输入图像分解成reflectance maps和illumination maps；adjustment network可以通过参数 $α$灵活调整亮度，输出调整过的illumination maps；restoration network负责将之前decomposition network得到的reflectance maps和adjustment network的输出结合，得到最终的增强图像。
• 网络使用paired数据集，输入两张曝光不同的同场景照片，但是并不是以正常曝光的照片作为ground truth，而是以正常曝光照片的reflectance maps作为ground truth。根据retinex理论，一张图片可以分成reflectance maps和illumination maps两部分，不同曝光的图片如果不考虑退化（噪声、颜色失真等），则两者的reflectance maps应该相同，不同的是illumination maps，所以作者使用正常曝光图片的reflectance maps作为ground truth。
• 同时，作者在不同的网络部分中，使用了不同的组合的loss，如MSE loss、SSIM loss等。实验证明，论文的结果在视觉上和定性定量的实验上，都取得了SOTA的效果。
• 时间上，本文是ACM MM 2019论文。
  

Methodology

datasets

作者这里用LOL datasets中的450张 paired images作为训练集，而不是通过合成的图片作为训练集。使用patches和data augmentation进行数据增强。

decomposition network

在retinex理论中， $I=R ◦ L$，decomposition network作用即将原始输入图片 $I$分解成reflectance maps， $R$；和illumination maps， $L$。同时假定，在不考虑图片退化（噪声、颜色失真等）情况下，相同场景下的不同曝光的图片的 $R$应该相同，所以通过decomposition network输出的low reflectance作为restoration network的输入，用来生成增强图片；而high reflectance maps用作ground truth，有监督地同restoration network的输出图片计算loss。
decomposition network分为两个branches，一个是类U-Net结构，加上sigmoid layer，用于生成reflectance maps；另一个是由简单的卷积层和sigmoid layer组成，用于生成illumination maps。
其总loss为：

• reflectance similarity loss
  使low/ high reflectance maps保持一致
  
• illumination smoothness loss
  
  对于 $I$中边缘， $L$的惩罚很小；而对于 $I$中smooth的位置，惩罚变得很大
• mutual consistency
  
  下图的是 $u◦ exp(-c·u)$函数图，即将M替换成u，可以看到参数 $c$越大，u增大的时候，结果值越接近0，即鼓励保留差异大的边缘，较少差异小的边缘
  
• reconstruction error loss
  使decom出来的reflectance maps能够保持一致
  

adjustment network

参数α用来调整illumination maps的亮度，通过（L_t / L_s）再算平均，得出。t为target，s为source；当α＞1时，增亮，α小于1时变暗。最关键的是，这里的参数α是可以自己设定的，即想要多亮就要多亮，非常灵活。同时不得不说的是，实际上α在网络中实际上是一张feature map，加权到原有的illumination maps上。
整个网络非常简单，3层conv layers还有一个sigmoid layer组成，loss为：

restoration network

暗光图像的reflectance maps会比正常曝光图片的reflectance maps情况糟糕很多，所以这里需要用正常曝光的reflectance maps作为监督，计算loss来约束，同时也需要illumination maps提供指导，最终增强图片。
其loss为：

SSIM是SSIM loss，第三项是为了约束reflectance maps纹理中的平滑度，即smoothness。

Experimental Evaluation