Colorization论文阅读——Let there be Color!

论文

Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification

• 发表于SIGGRAPH 2016

方法

首先，图片的颜色空间为LAB颜色空间，其中L代表亮度，AB分别代表洋红(Cyan)到绿色(Green)的过渡和黄色(Yellow)到蓝色(Blue)的过渡。在灰度图中，L完全保留，而AB完全丢失，因此需要通过L预测出AB，再叠加到原来的L上，就能够得到彩色图片。

如下图，这篇论文采用了全局和局部的两种维度提取特征。局部特征基本上是一个U-Net，全局特征一方面要得到整张图片的分类，另一方面要把全局的特征和局部特征做融合(Fusion)。

其中具体每一层的参数如下图所示。

里面最核心最具创新性的应该就是全局特征和局部特征的Fusion。Fusion的过程非常简单粗暴，就是把全局特征的向量一个一个排起来，concatenate到局部特征的每个像素上。即

另外，和其他Colorization方法不完全相同的是，它使用了图片的分类。因此，它的Loss Function由颜色和分类两部分组成，即

第一项描述了颜色上的误差， $y^{color,*}$为ground truth， $|\cdot|_{FRO}$表示F范数，综合起来就是各个像素上的均方误差（MSE）。第二项描述了分类上的误差，就是分类的交叉熵误差（Cross Entropy Error）。

疑问

Github上可以找到相关代码colorNet-pytorch，训练后发现有些结果比较好，比如天空是蓝的，草地是绿的。但对于一些可能有歧义性的物体，比如飞机的颜色可能是各种颜色的，那么感觉这种方法只能做一个各种可能颜色的平均，因此看起来是灰色的，和原来的灰度图差距不大。