一、背景胡扯
人脸相关的篡改并不是一个新的话题，但是结合深度学习篡改人脸的操作是最近兴起的。
人脸操作主要分为四种：
1. 合成整张虚假人脸图像，
2. 换脸操作，即在保留目标人脸背景的基础上使用源人脸A替换目标人脸，
3. 人脸属性修改，例如修改人的发色，胡须的有无等，
4. 人脸表情修改，例如使图片中的人表情由哭变为笑，改变视频中说话人的口型等。
随着计算机硬件的发展，基于计算机视觉的操作技术能够生成更高质量的图像/视频。但是这些技术在娱乐我们的生活的同时，也带来了一定的安全隐患。对于人脸操作中的(2)、(4)来说，篡改者将公众人物的脸替换到其他的一些视频中，或者将人说的话篡改为另一句话，这种无中生有的方式，很大程度上能够造成人身攻击，引导舆论，引发信任危机（严重了）。
这其中，人脸篡改最具有影响力的两种方法为Face2Face，DeepFake：
1. Face2Face由Justus Thies 的团队在 CVPR 2016 发布。作者提出了一种用于单目标视频序列的实时面部重建的新颖方法。源序列也是单目视频流，用摄像头捕获。目标是通过源角色为目标视频的面部表情动画化，并以逼真的方式重新渲染被操纵的输出视频。（用人话说就是通过摄像头捕捉到的人脸表情动作来“操控”视频中的人脸表情动作）。若再经过配音，完全可以达到以假乱真的效果。可惜的是这个项目并没有开源，但作者参与制作了一个数据集faceforensics++。
2. DeepFake最初是在2017年由国外Reddit用户"deepfakes"提出，是基于深度学习的自编码器将源人脸替换到目标人脸的操作。DeepFake方法已经开源，DeepFake链接，学习成本也比较低，使用起来也比较简单，这使得技术迅速传播，甚至出现了许多以此盈利的网站。所以！为了全人类的利益，取证DeepFake势在必行（谁也不想自己的脸出现在某种小电影上吧）。
二、简介
首先，介绍下DeepFake的大体思想。在训练阶段，对人脸A与人脸B两个人脸集各训练一个自编码器，自编码器的编码器可以将人脸编码，自编码器的解码器将编码后的人脸解码为原始人脸。其中自编码器A和B的编码器参数共享（A,B的编码器相同）。在转换阶段，使用自编码器A的编码器将人脸A编码，然后使用自编码器B的解码器解码为人脸B。为了方便理解，放一张图：
简单地拿一个将小李子的视频替换为我自己的例子说一下（不要脸）。所以当我们训练获得的自编码器越好，得到的转换效果也就越好。转换阶段的整体流程为：
(1)解码A的视频为帧
(2)提取帧中A的人脸
(3)人脸对齐
(4)使用编码器编码人脸A，再使用人脸B的解码器解码为人脸B
(5)采取与人脸对齐相反的操作(为了还原原本的状态)
(6)将人脸B融合到人脸A的视频帧中，完成替换
(7)将序列帧转为视频
三、相关数据集与检测方法
有个大神轮子已经帮我们做好了，我就当个搬运工吧
四、继续胡扯
DeepFake等很多面部操作方法确实能够让人眼前一亮，但确实没有做到特别让人惊艳的程度，要想达到那种程度，还需要相当复杂的人工后期处理（B站某著名UP主说的）。这是一个相互博弈的过程，一帮人不断改进换脸技术，一帮人不断提出检测方法。但是只要是篡改过的图像，肯定会在某些肉眼难以发现的地方留下一定的痕迹，取证人员要做的是发现这一点蛛丝马迹。
这篇文章写在帮导师做完一个用于给本科生科普DeepFake及其相关检测方法的ppt之后，也是深有感慨。做取证的不但要理清取证领域的相关知识，也要对要取证的方法深入了解，做到知彼知己。做取证一定要有清晰的概念定义，比如DeepFake是什么，Deepfakes又是什么，faceswap又是什么，我们又要检测什么，明确目标再去做比一头扎进去瞎做可是差太多了。后面有时间介绍下目前比较好的工作，以及自己的工作。另外，我是渣渣，如果哪句话说的不对，欢迎大神帮忙纠正，不要喷我。或者想要带我飞的或者跟我交流的，留下你的联系方式！
