CVPR 2018：Image Correction via Deep Reciprocating HDR Transformation -- 论文笔记

CVPR 2018： Image Correction via Deep Reciprocating HDR Transformation 来自大连理工大学，香港城市大学和腾讯AI lab。

论文下载： https://arxiv.org/abs/1804.04371

论文根据相机成像的过程，提出了往复式HDR的思想，用于恢复过曝光或欠曝光图像在图像恢复(image correction)过程中易丢失的细节。

图像恢复问题可以追溯到CCDs的发明，CCDS中存在半导体，使得自然场景图和成像像素之间存在着非线性的关系，而这个非线性关系通常通过gamma校正得到。

相机成像过程如下图，相机响应函数CRF，曝光时间 t，自然场景S：    

在曝光度不恰当时，就会出现过曝或者欠曝的情况：下图分别表示欠曝、正常曝光、过曝和合成HDR。

目前存在许多图像修复方法不能很好地恢复过曝欠曝下图像的细节信息：如下图，要么亮度不合适，要么细节恢复能力很差。

下图表示图像形成过程，相机先获取场景然后tone mapping到LDR域。据此，作者提出了一种新的图像恢复方法：先将LDR域图像转至HDR域图像，以此得到更为丰富的细节信息；再将HDR域图像恢复至LDR域图像，利用HDR域所带有的细节信息。而目前存在的绝大部分的方法都只是在LDR域进行图像的恢复问题。

论文的整个pipeline：两个相似的encoder-decoder网络结构，前半部用于恢复HDR域的细节信息，后半部用于HDR到LDR域的转换。整个过程用公式表达为 ：;   ；S^ 和 I^ldr 分别表示重建HDR数据和生成的LDR图像。前半个子网络中加入不仅在相对应的encoder-decoder层之间加入skip connection，还在输入输出的位置添加skip connection，和残差学习很类似，由此前半子网络并不生成整个HDR图像，而是学习输入和输出差值。前半子网络的损失函数：，Y表示GT HDR，对Y进行了公式中的操作（将HDR域降到LDR域）。后半子网络结构类似于前半部，论文会对S^进行反gamma校正将S^转至HDR域得到S^full，由此将 --> , δ 是一个小常数又来移除零域。取log来压缩HDR域值，同时能保证一定强度大小。损失函数：。  论文预先训练前半个子网络，然后加入整个网络进行端到端的训练（ε设置为0，即前半子网络没有被再次训练）。同时在end-to-end训练中，后半子网络采用逐层训练(hierarchical supervision)，即先训练encoder和第一个decoder层，而将其他的decoder层冻结（应该是学习率设置为0），之后逐渐加入被冻结的decoder层进行训练。以此达到一个由粗到精的细化训练。

数据集：The city scene panorama dataset. 39,198 训练，1,672 evaluation; The Sun360 outdoor panorama dataset. 6,400 微调；【数据集可能存在不太合理的情况，此类问题的数据集还需要改进】

前半子网络性能分析：下图用来显示重建的HDR和GT 之间的差别（可是论文说不生成HDR图，也许是S^full？），由蓝色到红色表示差别的大小。

                

效果图：

buxile bisaikaishile！