AutoToon_ WACV_2020 自动几何扭曲的脸卡通生成论文阅读笔记

AutoToon_ WACV_2020

屠龙少女的世界可可爱爱没道理
好了 进入正题 话不多说 快上车
AutoToon: Automatic Geometric Warping for Face Cartoon Generation
AutoToon:自动几何扭曲的脸卡通生成
没有公开源码

1. 创新点

利用SENet和空间转换器模块,直接对艺术家的扭曲部位进行训练,在扭曲之前和之后使用损失函数。
2. 数据集
无公开数据集
一个配对的数据集,AutoToon数据集
从Flickr上收集了101张正面人物(非名人)的肖像照。被选择的人覆盖了广泛的年龄组、性别、种族和脸型。这些图像然后通过Adobe Photoshop由两个具有相似风格的漫画艺术家进行变形,以生成ground-turth的艺术家漫画。
这个由101张图像(Xin,Xtoon)组成的成对数据集被分割成90张训练图像和11张验证图像。测试集没有ground truth标签,是从不同的受试者和公共来源收集的。
3. 模型结构
在这里插入图片描述

  1. 网络模型
    (1)AutoToon的放大夸张网络由感知器网络和扭曲模块两部分组成。感知器网络是一个裁剪的SENet网络(SENet50),预训练权重是在VGGFace2数据集上预先训练得到的权重。裁剪的SENet网络只保留原始层并包含第二个bottleneck block,然后输出大小为32×32×2的自适应平均池化层。裁剪网络的目的是减少网络大小,防止对小数据集的过拟合。
    (2)给定一个输入图像,感知器网络产生一个32×32的扭曲场。通过双线性插值对翘曲场进行上采样,得到像素方向的位移,并将输入图像翘曲到生成的动画中。然后可以使用任何想要的样式化网络对卡通进行样式化。在推理预测时,一个比例因子α可以应用于变形场操纵弯曲强度。
    在这里插入图片描述

  2. loss函数
    在这里插入图片描述

(1)重建损失 reconstruction loss(Lrecon)
Xtoon:ground-truth卡通
ˆXtoon:生成的卡通

Lrecon = L1(Manhattan)distance = d1(Xtoon, ˆXtoon)

(2)艺术家扭曲损失 artist warp loss(Lwrap)
F32:艺术家扭曲场获得
在这里插入图片描述

ˆF32:和估计的扭曲场

Lwrap = L1(Manhattan)distance = d1(F32, ˆF32)

(3)平滑正则化损失smoothness regularization loss(Lreg)
在这里插入图片描述

4.模型对比
在这里插入图片描述

艺术家和临时观察者的用户研究结果(平均值)。艺术家们给图片打分,从1分(最差)到10分(最佳)。临时观察者选择了更有说服力的夸张的图像。
5.总结
进一步平滑翘曲领域,以避免像素碰撞,身份保护,以及学习适应不同的艺术家风格的少镜头。

好了 ,完结撒花!!!!!

原创文章 3 获赞 9 访问量 329

猜你喜欢

转载自blog.csdn.net/weixin_45236828/article/details/105839055
今日推荐