风格迁移作为深度学习艺术化工作的典范，各顶级会议上一直有相关论文发表，工业上也有很多面向C端用户的产品。今天我们要介绍的一篇工作来自ECCV2018，解决的问题是如何在进行风格迁移的时候，对笔触大小 （Stroke Size ）进行控制。
笔触大小的影响因素
笔触大小对于风格化的结果有着十分直接的感官影响。在进行风格化迁移的时候有三个因素制约笔触大小：风格图的分辨率大小、监督网络VGG 的感受域、生成网络的感受域。
风格图分辨率
风格化的目标来自于风格图的 gram based statistics，gram matrix 包含风格图的尺度信息，分辨率越大、gram matrix 就有着越精细的尺度信息，这反映在风格上就是不同大小的笔触变化。
从左到右，依次是content图，style图，scale 256、scale 512、scale 768生成图，不同的分辨率，对应不同的风格化笔触；
VGG感受域
VGG 是一个典型的层化结构模型，从底层到高层，神经元的感受域由小变大，这也对应笔触的大小。当然VGG的感受域有一个上限，当笔触的大小大于这个上限的时候，VGG网络是学习不出来的。
风格图分辨率
作者做了一个基本的实验得到了如下结论：生成网络的感受域越大越能学习出更大的笔触。
实验效果图如下：
由于VGG在风格化建模中的不可替代性，本文只考虑了从风格图尺度与生成网络的感受域两方面着手，对不同大小的笔触进行精细化学习。
本文方法
模型结构
上面就是本文提出的模型结构图，StrokePyramid 对应着不同感受域大小的生成模型、style 图的不同scale 代表着不同尺度与笔触大小的对应，具体来说、对于尺度为scale 1的风格监督图、设置Stroke Branch 1的生成网络来专门学习出其特定的风格笔触，对于其他的scale依此类推。
在训练的时候、每次迭代只训练一种scale，但是在预测的时候，可以把不同Stroke Branch的layer 加权融合到一起送到Stroke Decoder 里面，得到混合笔触大小的生成图。具体做法如下：
是第 i 个Stroke Branch输出的 feature map，G是一个gating function，对各branch的feature map 分配权重。最后把融合后的tensor送到Decoder里面得到生成图像
有了上面的思路，loss function 就可以很自然地出来了，这里我们不做讲解。
训练技巧
Progressive training：假设k个scale，k个branch，那么每k个iteration，就依次训练单个branch。
Incremental training：如果想要增加新的笔触大小进行训练，只需要在已训练好的模型上增加一层新的 stroke branch，然后用新的scale对新的layer进行 finetuning 就可以了。
实验结果
训练集MS-COCO，branch 设为3，风格图的分辨率分别为 256、512、768。
开源代码：
https://github.com/LouieYang/stroke-controllable-fast-style-transfer
相比于其他控制笔触的方法，本文的质量明显更高。
上图显示的是在预测时，branch之间进行不同插值的情况下，生成图的效果，可以看到由左到右，图像的笔触越来越大，这表明模型的确学会了如何控制笔触大小。
论文链接：
https://arxiv.org/pdf/1802.07101.pdf
欢迎关注我们的微信公众号：极验（geetest_jy）