基于optimal trasport的color transfer:Optimal Transportation for Example-Guided Color Transfer

Optimal Transportation for Example-Guided Color Transfer

本文提出了一种新的、通用的基于颜色转移的方法。颜色传输分为两步:自适应变换(CAT),就是白平衡。其次颜色映射:使用最优运输来映射成对的颜色,并通过薄板样条曲线来规范这种映射。

1. cat(光源适应)

首先找灰点
在这里插入图片描述

然后根据两张图像的灰点进行 白平衡转换。

在这里插入图片描述

2. 颜色转换

2.1 图像分割

基于直方图的分割技术(Delon, J., Desolneux, A., Lisani, J.L., Petro, A.: A nonparametric approach for histogram segmentation. IEEE Transactions on Image Processing 16 (2007) 253–261):
如下图,可以分成很多块
在这里插入图片描述

每一块可以用Lab空间的 均值和方差表示
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接在这里插入图片描述

这样两个图像就又两组数据
P = { p i } 和 Q = { Q j } P= \{p_i\} 和 Q= \{Q_j\} P={ pi}Q={ Qj}, i=[1,m], j=[1,n]

2.2 最优传输 (OT)

首先定义颜色距离:

在这里插入图片描述

每个颜色的数量是直方图的高度。

通过OT算法得到最右的转换f_ij后,由于每个j可能对应多个i,那么怎么得到最终的j的颜色呢?用下面的公式:
在这里插入图片描述

因此最终的对应关系就是:
在这里插入图片描述

2.3 TPS

直接 应用这个转换在图像分割的地方会产生不想要的边,因此作者利用3D thin plate splines interpolation
求得一个3Dlut 或者 直接对原图进行插值映射。这样即准确又保持了平滑
在这里插入图片描述

2.4 其他约束

比如某块颜色要分配到另一块上
在这里插入图片描述

3. 实验验证

3.0 复现上面的论文,效果展示:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

具体步骤如下

3.1 转换到lab空间:

在这里插入图片描述

3.2 找到的 white point

在这里插入图片描述

3.3 进行 CAT 转换

在这里插入图片描述

3.4 对图像进行分割(这里没有用论文中的hist方法, 而是利用slic)

然后求出每一个块的 lab空间的 均值和方差(如论文中所说)
在这里插入图片描述

分割后的颜色统计,看起来和论文中不完全一致:
在这里插入图片描述

在这里插入图片描述

3.5 optimal transport 匹配颜色

匹配前后的颜色如下图1,3
在这里插入图片描述

3.6 利用tps拟合插值得到最终结果

在这里插入图片描述

和论文中的结果有一定差异,且有artifact, 不如论文中效果好,原因可能是:
1)分割方案不同
2)tps拟合方法不同
3) 如果不用tps方法得到的图像如下,效果更差,artifact比较多
在这里插入图片描述

  1. 多项式拟合会更加平滑。

猜你喜欢

转载自blog.csdn.net/tywwwww/article/details/130201463