转自 https://blog.csdn.net/mtc_Ningning/article/details/79241392
图像风格化的自动肖像分割
本文工作：
l 通过引入新的人像位置和形状作为域特殊知识来扩展FCN-8S的功能；
l 建立了人像图片分割数据集和benchmark来做模型训练和测试；
l 用我们的方法来增强了几种交互式人像编辑的方法实现全自动化。
FCN来分割人像的不足：
原VOC数据集人像分辨率不足&&原任务要分20类，不能做到对人像的精准。本文将FCN在我们的数据集上进行模型权重微调，然后把类别改为两类，得到的结果展示标记为PortraitFCN,但是结果也不是很理想，这是因为CNN为了追求语义信息而忽略了部分空间信息，本文提出了PortraitFCN+ 模型，在FCN里融入了从人像提取的空间信息。
本文方法：
总体来说：在FCN的基础上，用人脸检测（参考文献【SLC09】）来生成人像位置和形状通道，与颜色通道一起送入网络来训练。
l 位置通道：标识像素与人脸的相对位置，由于每张图片位置都不一样，我们采用归一化的x和y通道（像素的坐标），坐标以第一次检测到人脸特征点为准，并预估了匹配到的特征与人体标准姿势之间的一个单应变换T，我们将归一化的x通道定义为T（ximg），其中ximg是以人脸中心位置为0点的x坐标，同理y也是如此。这样，我们就得到了每个像素相对于人脸的位置（尺寸也有相应于人脸大小的缩放），形成了x和y通道。
l 形状通道：参考人像的标准形状（脸和部分上身），我们定义了一个形状通道。首先用我们的数据集计算一个对齐的平均人像mask。计算方法为：对每一对人像+mask，用上一步得到的单应变换T对mask做变换，变换到人体标准姿势，然后求均值。
其中W取值为0或1，当变换后在人像内的取值为1，否则为0。
然后就可以对平均mask类似地变换以与输入人像的面部特征点对齐。
数据和模型训练
l 数据处理
收集1800张手机前置摄像头拍摄的照片，图像大小600*800，1500来训练，300来测试。采用了各种方式（旋转缩放等）来进行数据的增强。
l 模型训练和测试
Caffe GPU 0.2一张，CPU 4秒一张。