（更新时间：2020-03-03）
本文属于：动漫线稿自动上色-系列论文解读
关键词：线稿上色AI原理分析，动漫线稿自动上色算法，Style2paints算法原理
目录
10. 附：Style2paints V3如何进行风格迁移？
Style2paints V1 - 动漫线稿迁移式上色Demo：
1. 基本信息
论文标题：Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
基于改进的残差型U-net和带辅助分类器的GAN（AC-GAN），实现动漫线稿的迁移式（自动）上色
研究领域：计算机图形学，线稿自动上色（Sketch Colorization），风格迁移（Style Transfer），深度学习（Deep Learning），生成式对抗网络（GAN）
作者：Soochow University: Lvmin Zhang, Yi Ji, Xin Lin, Chunping Liu
发表会议：2017 4th IAPR Asian Conference on Pattern Recognition (ACPR)
被引次数：36次（截止2019.11）
代码与模型：
（1）官方代码：
Style2paints（PaintsTransfer）的GitHub仓库（仓库Star数量已超过一万）。提供了完整的上色程序与训练好的模型，暂未提供训练代码。论文对应Style2paints V1，GitHub代码版本持续更新。
（2）非官方复现：
SerialLain3170/Colorization – “Experiment with reference”部分。使用了替代的网络结构，包含训练代码。
相关专利：CN201810414328.6 基于参考图像的线稿上色模型的训练方法以及装置
研究意义：
1.在动漫线稿迁移式（自动）上色领域，本文是第一篇上色算法性能达到接近实用级别的论文（曾提供了在线上色网站），开源了代码和模型。
2.本文的改进版本"Two-stage Sketch Colorization"发表在ACM Transactions on Graphics (SIGGRAPH Asia 2018 issue)，使用了类似于本文的网络结构。
2. 主要贡献
1.设计了一个能够对动漫线稿进行迁移式上色的网络
2.对U-net进行了改进，设计了残差型U-net (Residual U-net)
3.设计了一种带有两个辅助损失函数的U-net训练方式
4.对AC-GAN的判别器进行了修改，使之适合于判别图像的上色风格类别。
核心参考文献：两篇黑白照片彩色化论文：
[6] Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. Let there be color!: Joint end-to-end learning of global and local image priors for automatic image colorization with simultaneous classification. ACM Transactions on Graphics (Proc. of SIGGRAPH 2016), 35(4), 2016.
[20] Richard Zhang, Jun-Yan Zhu, Phillip Isola, Xinyang Geng, Angela S Lin, Tianhe Yu, and Alexei A Efros. Real-time user-guided image colorization with learned deep priors. ACM Transactions on Graphics (TOG), 9(4), 2017.
3. 数据集
作者在Github项目主页上说明，推荐的训练集为nico-opendata，数据集大小为四十万张彩色漫画。
由于缺少原始线稿图像，对应的线稿，使用sketchKeras从彩色漫画中自动提取。
4. 问题定义
给定一幅黑白线稿A（未上色），和一幅已上色的彩色漫画B（与线稿A无关），能否根据彩图B的上色风格，自动对线稿A进行上色？即：将B的上色风格（语义信息）迁移到A上。该问题称为：动漫线稿的迁移式（自动）上色（Style Transfer for Anime Sketches）。
（1）动漫线稿上色与“黑白照片彩色化”（Photograph Colorization）的区别：黑白照片除了提供边缘信息之外，还提供了各像素的灰度值、纹理等信息，而线稿只提供了边缘信息，所以线稿上色的难度要大得多。
（2）与“语义分割”（Semantic Segmentation）问题的区别：（a）训练数据中不包含每个像素的分类标注信息，（b）智能上色的过程，不是简单地对身体的各部位进行语义分割，还需要添加自然的颜色过渡、纹理等。
5. 相关工作
1.PaintsChainer：在本文写作时，PaintsChainer发布了V1版本（GitHub仓库）。Paintschainer V1仅提供了全自动上色和基于颜色提示（Color Hint）的线稿上色，未提供基于风格迁移的线稿上色功能。
2. Neural Style Transfer（神经风格迁移）：虽然Neural Style Transfer[3]是最常用的图像风格迁移方法，但本文的实验结果表明，Neural Style Transfer不适合用于“动漫线稿的迁移式上色”问题，实验结果如下图所示。
[3] L. A. Gatys, A. S. Ecker, and M. Bethge. A Neural Algorithm of Artistic Style. ArXiv e-prints, August 2015
6. 整体网络结构
本文网络的整体网络结构设计如下：
7. Generator生成器
7.1 Generator网络结构
1.使用VGG16/19从“色彩风格参考图”中提取“色彩风格特征”，然后将其输入到U-net的中层。色彩风格特征包含了上、下身衣服颜色，头发颜色，背景颜色等信息。（色彩风格特征向量也可视为色彩风格类别的分类结果）。
2.使用U-net完成从“黑白线稿”到“已上色漫画”的转换。U-net分为Encoder和Decoder，Encoder提取出的“语义分割特征”与VGG提取出的“色彩风格特征”，一起传入Decoder。
3.为了解决训练时U-net中层梯度消失的问题，训练时在U-net中层的“入口”和“出口”处各加上一个Guide Decoder。其中，入口处Decoder的参考图像为灰度漫画，出口处Decoder的参考图像为彩色漫画。加上Guide Decoder之后的网络结构如下图所示。
分析：
1. U-net是全卷积神经网络（Fully Convolutional Network, FCN）的一种变体，最初用于生物医学图像的语义分割。U-net专为小规模数据集而特别优化设计。使用U-net来完成线稿上色任务，是将“线稿上色问题”建模为近似于“语义分割问题”（虽然二者不等价），为图中的每个像素分配一种颜色（类别）。
2. VGG的网络权重：在GAN训练过程中，为避免受到干扰，VGG网络的权重的是固定的（VGG网络使用在ImageNet数据集上预训练好的权重）。
7.2 Generator损失函数
（1）初始的损失函数：
其中，x为线稿，y为对应的已上色漫画。V(x)为VGG19的输出，
为U-net生成的已上色漫画。
和
分别是两个Guide Decoder。推荐的参数设置为alpha=0.3，beta=0.9。
注意：在训练阶段，输入的“色彩风格参考图”使用的是输入线稿对应的“已上色漫画”。因为VGG的权重在训练期间是固定的，所以训练期间VGG提取出的色彩风格特征也是固定的，所以网络不会被训练成从“色彩风格参考图” 直接拷贝图像到网络的输出。虽然乍一看觉得该训练方式不合理，但实际上可理解为：让网络学习根据“线稿”和VGG提取出的“色彩风格特征”，重构出线稿对应的“彩色漫画”。当训练数据集足够大时，这种训练方式能让网络学到风格迁移的能力。
（2）最终的损失函数：
由于本文发现将Guide Decoder 1对应的训练图像转为灰度，能够改善上色效果。因此，最终的损失函数如下：
其中T(y)函数用于将彩色图像y转换为灰度图像。
论文没有说明将Guide Decoder 1的参考图设为灰度的原因。猜测可能是因为Decoder 1位于输入色彩风格特征之前，将参考图设为灰度，以避免VGG传入的颜色特征失效。
8. Discriminator判别器
8.1 Discriminator网络结构
判别器的网络结构，是在AC-GAN (Auxiliary Classifier GAN) 判别器的基础上进行修改。与AC-GAN判别器的区别之处在于：本文的判别器输出不含real/fake二分类，只包含生成图像的类标签。具体而言，判别器的输出为一个4096维的特征向量，与VGG输出特征向量的意义基本相同，可视为色彩风格类别的分类结果。当判别器的输入图像为fake时，输出向量接近于全为0；当判别器的输入图像为real时，输出向量接近于VGG19的fc1层输出的特征向量。
8.2 Discriminator损失函数
基于对数释然距离（log-likehood distance）的损失函数：
公式解释：
1. 第一项
为对真实样本的判别，第二项
为对生成样本的判别。希望D(y)越接近norm(V(y))的值越好，
越接近0越好。
2. 式(3)中的norm(x)是一个归一化函数，用于对VGG的输出进行归一化，使之更适合于公式中的对数释然距离。推荐的归一化函数如式(4) (5) (6)所示：
另外，作者还介绍了基于least-squared distance的损失函数，和DCGAN判别器的损失函数（详见论文）。为了取得最佳的上色效果，作者建议结合使用多种判别器和损失函数。
3. 作者指出，使用GAN的对抗式训练方法，会造成损失函数值不稳定。因此，训练生成器时，主要使用式(2)的损失进行训练（注意该损失函数中没有出现判别器），而判别器提供的梯度仅作为辅助。
最终，GAN的整体损失函数（生成器+判别器）如下：
其中：lamda的推荐取值为0.01
9. 上色效果
如下图所示，网络能自动区分出线稿和色彩参考图中的头发、眼睛、皮肤、衣服区域，并能将色彩参考图的颜色迁移到线稿上的对应区域。
10. 附：Style2paints V3如何进行风格迁移？
目前GitHub仓库内公开的代码和模型为Style2paints V3。虽然V3主要专注于基于颜色提示的线稿上色，但基于风格迁移的线稿上色功能仍然可用。具体操作方法如下：
1.点击“上传线稿”，之后稍等片刻。
2.点击“上传参考”，上传色彩参考图，之后稍等约5秒。
3.把“风格化程度”滑动条调至最右边，即100%（默认为0%，可根据需要调整比例）。
4.点击“>”按钮进行上色，稍等一段时间。最终的上色结果显示在最右边。
关于“模式”的说明：“线稿上色”模式用于对只勾勒了轮廓的线稿进行上色；“颜色渲染”模式用于对具有灰度纹理的黑白漫画（类似于黑白照片）进行上色。
最后，感谢作者开源了相关代码与模型！
相关介绍：雷锋网-继AI生成二次元头像之后，新一代线稿上色AI来袭
进阶：
Style2paints V3论文解读：博文链接
