Deep Colorization(论文阅读记录)

Title:Deep Colorization

原文地址

背景:目前的显色方法(Colorization methods)分为scribble-based methods 和examplebased method两大类。

scribble-based methods:需要在待显色的灰度图像上提供大量的涂鸦,耗时耗人力

examplebased method:为了减轻人力的负担,提出该方法,从相似的参考图像中将颜色信息转换到灰度图像中,显色质量依赖于参考图像的选择,合适参考图像的选择是一个难题。

本篇论文将图像染色问题看作一个回归问题,使用深度学习解决这个问题。

创新点:

1、提出了第一个基于深度学习的图像染色方法并且证明了其有效性。

2、它由低到高,仔细分析了内容丰富但有区别的图像特征描述符,这是该算法的关键部分

大体思路:

对于神经网络的测试分为以下几个步骤:

1、首先,神经网络的input layer含有128个神经元,分别对应49维的patch feature(Low-level)、32维的DAISY feature(Mid-level
)和47维的semantic feature(High-level)。output layer包含2个神经元,分为是该像素的U V(色度)分量的值。

2、得到色度分量后,为了消除潜在伪影,以原始灰度图像为指导,利用joint bilateral filtering technique(联合双边过滤技术)细化色度分量的值。

3、最后结合细化的色度分量与原始灰度图像得到最终染色的图像。

重点:图像特征描述符的理解。

缺点:

1、由于依赖机器学习方法,所以需要一个包含所有可能待染色目标的大规模数据库训练网络,这是不可能的。比如当前的图像通过自然图像训练,所以就不适用于合成图像。

2、不能恢复在彩色到灰度转换过程中丢失的信息。

猜你喜欢

转载自blog.csdn.net/yyyllla/article/details/105319877