文章目录
Optimal Transportation for Example-Guided Color Transfer
本文提出了一种新的、通用的基于颜色转移的方法。颜色传输分为两步:自适应变换(CAT),就是白平衡。其次颜色映射:使用最优运输来映射成对的颜色,并通过薄板样条曲线来规范这种映射。
1. cat(光源适应)
首先找灰点
然后根据两张图像的灰点进行 白平衡转换。
2. 颜色转换
2.1 图像分割
基于直方图的分割技术(Delon, J., Desolneux, A., Lisani, J.L., Petro, A.: A nonparametric approach for histogram segmentation. IEEE Transactions on Image Processing 16 (2007) 253–261):
如下图,可以分成很多块
每一块可以用Lab空间的 均值和方差表示
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接
这样两个图像就又两组数据
P = { p i } 和 Q = { Q j } P= \{p_i\} 和 Q= \{Q_j\} P={
pi}和Q={
Qj}, i=[1,m], j=[1,n]
2.2 最优传输 (OT)
首先定义颜色距离:
每个颜色的数量是直方图的高度。
通过OT算法得到最右的转换f_ij后,由于每个j可能对应多个i,那么怎么得到最终的j的颜色呢?用下面的公式:
因此最终的对应关系就是:
2.3 TPS
直接 应用这个转换在图像分割的地方会产生不想要的边,因此作者利用3D thin plate splines interpolation
求得一个3Dlut 或者 直接对原图进行插值映射。这样即准确又保持了平滑
2.4 其他约束
比如某块颜色要分配到另一块上
3. 实验验证
3.0 复现上面的论文,效果展示:
具体步骤如下
3.1 转换到lab空间:
3.2 找到的 white point
3.3 进行 CAT 转换
3.4 对图像进行分割(这里没有用论文中的hist方法, 而是利用slic)
然后求出每一个块的 lab空间的 均值和方差(如论文中所说)
分割后的颜色统计,看起来和论文中不完全一致:
3.5 optimal transport 匹配颜色
匹配前后的颜色如下图1,3
3.6 利用tps拟合插值得到最终结果
和论文中的结果有一定差异,且有artifact, 不如论文中效果好,原因可能是:
1)分割方案不同
2)tps拟合方法不同
3) 如果不用tps方法得到的图像如下,效果更差,artifact比较多
- 多项式拟合会更加平滑。