(个人)基于深度学习的中国传统特色图像的风格迁移第一周(1)

  本次创新实训的目标是创建一个实现图像风格迁移的网站,现在已经实现的有基于CNN的油画风格的迁移,我们的创新点在于我们想要实现一些中国传统的风格,比如水墨画与剪纸,但这并不是改变输入这么简单的问题。实现水墨画风格迁移的难点在于,水墨画有大面积的留白,并不像油画那样色彩斑斓,纹理重复密集,对于现有的算法来说,这种水墨画可以提取的信息很少。剪纸也存在着这类问题,剪纸的镂空很大一部分是以线条的形式呈现的,而且这些线条具有整体统一性,单纯采用现有的提取色块的方法是无法产生具有整体联系的线条的。

  本周我所做的第一个工作是:研究了Gatys发表在CVPR 2016 上的文章Image Style Transfer Using Convolutional Neural Networks


  所谓图像的风格迁移,就是将一张图像的风格转移到另一张图像上,传统是采用一些非参数的方法,但只能提取低层特征,而不是高层抽象特征,并且一个程序只能做一种风格或一个场景。于是就研究出使用CNN方法来实现图像的风格迁移来改进以上不足。

实现思想:将风格图像的特征与内容图像的特征添加到噪声图像上,使噪声图像能够保持普通图像的内容的同时可以具有一定的风格图像的风格。

具体过程:

·Content representation:对于给定的内容图像,CNN的每一层都要使用滤波器对其进行卷积操作,每一个滤波器都会对应一个feature map,feature map的维度取决于其宽与高的乘积。

我们给出内容图像的损失函数:(p为内容图像,x为生成图像)

对其求导后得到的激活函数为:


论文中随机初始化一副椒盐噪声图像X,将P与X输入某训练好的CNN网络,对X求导,使X在内容上趋近于P

·Style representation

先利用Gram矩阵来表示每一层feature map之间的关系,

然后就可以建立每一层关于style的损失函数:


总的损失函数:


通过梯度下降算法来保持噪声图像风格与输入风格图像的风格尽可能一致,即最小化二者Gram矩阵之间的均方距离。

图示:


上半部分是风格重建,下半部分是内容重建

·Style transfer


将content与style的cost相结合可以得到:


猜你喜欢

转载自blog.csdn.net/mingzhao0220/article/details/79850815
今日推荐