Landmark-Based Sparse Color Representations for Color Transfer

在Colorization using Optimization 中可以通过一些色彩clue渲染整张图像，但是clue是手动选择的，有没有办法自动选择呢，选择比较少的点达到比较好的渲染效果，本文就提出了这样一个方法：

1.原理：

在这里插入图片描述

如上面的公式 I是彩色图，Y是灰度图， $\varphi$ 是染色算法，比如Colorization using Optimization的算法。关键是如何选择X，本文提出了一个方法。

1）建立图像金字塔
2）每级图像都分为 h*h的block(上层图像肯定更少的数目，因为每层block size一样)
3）对最上层每个block 执行k-means算法作为初始 landmark, (简单起见可以选一个接近 RGB平均值的像素作为初始landmark)
4) 代入
在这里插入图片描述

再代入下式求差异图
在这里插入图片描述

如图
在这里插入图片描述

5）本层中E缩放2倍到下一层，下一层的block数量更多，因此（除了已选择的点，缩放后的点），再在若干个block中选择 E 最大的点（差异最大的pixel）作为landmark。
6）同理直至最下面一层。

如图所示：
在这里插入图片描述

2. 颜色转换

上一节中提到通过和原图的差异来不断选择更新land mark。但是如果只有两张图呢？

We extract the landmark pixels from each image, and use EMD to solve for the matching from the source to the target。
先提取两个图的landmark，再利用EMD算法匹配，再替换匹配上的像素，最后利用算法渲染。

利用EMD算法匹配landmark, 不知效果如何？
看下图
在这里插入图片描述

3. 颜色校正

同样是图像对，只不过不是利用EMD算法匹配landmark, 而是利用常见的特征点检测和匹配（比如sift）, 求单应性矩阵或者光流，然后使两张图像对其。

通过矩阵转换或者光流的方法，一张图的提取landmark 可以转换到另一张图。然后进行渲染
效果：
在这里插入图片描述

4. 总结

是否可以利用特征点检测和匹配，然后进行渲染？
答案是不可以，特征点不保证渲染结果良好。

所以还是要利用本文提取的landmark, 关键就是如何将target 图像的landmark转换到另一个图像。

文中1）是利用EMD算法匹配 landmark
2)是首先配准图像求得配准矩阵或者光流，然后得到landmark的对应关系。