来源：效率源科技
2017年12月，一个名为“DeepFakes”的用户基于深度学习技术，在Reddit上发布了一个“假视频”，他将神奇女侠-盖尔·加朵和色情演员的脸进行交换，来满足它自己的一己私欲。自此，“AI换脸”正式进入大众视野。
前不久就有人#将朱茵的脸换成杨幂的脸#，换脸后人脸的轮廓、表情都一样，无缝连接，简直看不出是人造的。
本以为这就是最骚的了，没想到明明白白渣渣男孩洪世贤又杀出重围，上演AI换脸绝杀，不仅要穿品如的衣服，还要用她老公的脸，又魔性又好笑……
如此“高阶”的换脸技术带来娱乐的同时，也提醒了我们，在这个数字时代，任何事情都不能盲目地看表面，因为那张动态的脸也可能是在欺骗你。有网友评价：“以后视频也能作假，如果没有鉴别手段，那么视频证据将失去意义”。
在换脸软件盛行的当下，想要及时发现涉黄、涉暴、政治敏感、广告、违禁品等风险内容在视频中的伪装，对于视频的真伪性鉴别就显得尤为重要。
为了引领网络世界中视频数据的正确导向，促进视频产业的健康发展，准确快速地审查视频内容，本文提出了以下几种鉴别视频真伪性的研究方法，以抛砖引玉，提供思路。
视频真伪鉴别方法
AI换脸，是基于人工智能的人体图像合成技术，生成的假脸，通称DeepFake。本文将从视频文件参数、视频内容、视频数据信息、时频分析、监控视频的完整性和帧间复制粘贴盲检测算法等方面讨论当前常用的一些视频真伪鉴别方法，由于每个鉴别方法都有其优点和不足，不代表所有视频编辑软件都能通用，建议鉴别时采用多种方法结合鉴定。
通过视频文件参数进行真伪鉴别
使用这种方法鉴别视频真伪性的前提条件：需要同一个设备拍摄的样本文件，且对于拍摄设备的设置未发生变化，则需鉴别的视频与样本文件的参数信息应当是保持一致的。
▲视频基本参数检验
如何获取视频文件的参数信息？
在windows平台下部分视频文件直接通过查看文件属性来获得，而更为通用的方式可以使用ffmpeg库来获取视频文件的参数信息。
优缺点：
此方法可以用于视频的初步检验，但其检验结果并不能直接作为视频真伪性检验的判断标准。
2
通过观察视频内容进行真伪鉴别
观察视频内容鉴别主要是通过反复查看视频，查找视频中可疑帧图像。对视频画面的流畅性、画面间的相关性以及视频图像色彩、明暗对比度、景色变化等进行检验，从而发现视频中是否有删减、替换帧等操作。
▲视频内容检验
优缺点：
此方法需要耐心细致地对视频内容进行全面的检查，查看过程中容易出现遗漏或不仔细的情况，且检验的结果无法准确判断。
3
通过分析视频文件十六进制数据信息
进行真伪鉴别
数字视频文件与其他计算机文件一样，同属于电子数据，它也具备一般计算机文件所拥有的属性特性。利用这一特性，从计算机数据的角度鉴别视频真伪。
通过分析视频文件的十六进制信息中数据的存储结构，以及每个特定结构中存储的关键性参数信息鉴别视频真伪。(这里使用十六进制编辑器winhex分析视频文件)
AVI文件：在INFO LIST中，在视频生成时存储编码程序信息，如下图所示。
▲AVI文件编码标记
MP4文件：在udta box的data box中，存储视频生成时所使用到的ffmpeg程序的libavformat标志值“Lavf”以及版本编号，如下图所示。
▲MP4文件编码标记
优缺点：
此方法运用于一些常用的视频剪辑软件编辑后的真伪判定，如EV剪辑、爱剪辑、fakeapp等。使用这些软件对视频进行再编辑修改之后，会对视频文件中包含特定结构进行修改，比如avi文件中的标记为info的LIST结构，mp4文件中标记为udta的box结构。
4
通过视频文件参数进行真伪鉴别
在编码格式为H264的视频文件中可以通过分析SEI(补充增强信息)帧的数据结构进行视频鉴别。SEI帧中主要信息包括传递编码器参数、传递视频版权信息、传递摄像头参数、传递内容生成过程中的剪辑事件（引发场景切换）等信息。
▲SEI包含数据内容
▲SEI帧数据内容描述信息
优缺点：
一些视频编辑软件在对视频进行篡改、剪辑等处理之后，会修改或生成SEI帧，若一个视频文件中包含如上图所示的SEI帧结构内容，则表示该视频进行了修改，据此可以应用该方法进行对视频文件的真伪进行判定。
5
基于时频分析进行真伪鉴别
时频分析是时频联合域分析（Joint Time-Frequency Analysis）的简称。
时频分析需要先对视频数据进行解码处理，得到解码后的「视频序列」；根据解码序列中的「帧类型」确定可疑视频流中各种帧类型数据的「距离值」；基于各种帧类型数据的距离值确定「检测频率」；根据检测频率得到「检测函数」，再通过检测函数对可疑视频流中「被篡改的具体位置」进行定位。
本方法主要是通过视频解码后得到的视频流中包含的I帧、B帧、P帧等各种类型帧之间的关联和差异性提出的一种检测方法。该种方法提高了视频真伪性鉴别的精度和稳定性。
因为对视频的解码处理后得到的视频解码序列中包含的I帧、P帧、B帧，解码序列中视频数据按照一定的规则进行排列，具体方式如下图所示：
▲GOP图像序列中包含的帧类型结构
GOP结构通常由检测者来定义。在序列中我们可以发现帧类型排序有明显的周期性，所以如果对视频进行了编辑或篡改操作后GOP结构不会发生改变。
▲删除不同帧数GOP压缩序列帧类型的变化
根据编辑帧的数量，如果删除的帧数不同，对于篡改视频中帧类型的转变将是探测帧篡改操作的一个关键。
针对视频帧序列提取高频分量特征，获取各帧类型数据的DCT(离散余弦变换)系数。因为视频帧数据会在编码过程中采用量化的方法而丢失一些高频特征分量。在DCT系数块的高频区域中，I帧的高频成分比B帧、P帧的高频成分多。B帧与其参考帧之间的相关性比P帧与其参考帧之间的相关性来的强，所以P帧的高频成分比相邻B帧的高频成分多。
根据上图所示丢失的帧不同原始序列的部分帧类型在重压缩序列后发生了变化，这就会造成重建帧的高频分量出现周期性波动。
▲高频特征分量的变化
优缺点：
此方法主要使用到的视频帧序列之间的相关性和差异性，建立数学模型并将分析结果量化，可使用ffmpeg库和matlab来完成该项分析工作，可以对视频文件进行精细化的分析，但操作难度大，兼容度目前来说还比较窄。
6
针对监控视频的完整性进行真伪鉴别
监控视频作为视频资料的一个大类，它常用来作为视听资料的证据在案件侦破、司法判断等领域起到揭露、证实犯罪的作用。所以对监控视频篡改的鉴别方法尤为重要。
对于监控视频恶意篡改主要集中于以下几点：
1、监控画面时间信息的篡改
通过检验视频画面的时钟信息是否连贯、有无跳跃，时钟水印颜色是否始终保持一致；也可通过观察由于画面背景的变化，时钟水印是否有“反白”现象来判断监控时钟是否被篡改。
▲通过监控画面时钟水印颜色鉴别真伪
2、增、减、替换帧操作
通过分析关键帧图像与其前、后帧图像的属性必然具有一致性，将关键帧图像与其前、后帧图像的亮度、对比度、直方图、色相饱和度等特性进行比较，根据差异的情况，如相邻帧的关联性、目标运动行为的连贯性等判断帧数据是否被篡改。
▲前后帧之间宏块的运动矢量
3、监控视频片段合成
通过检验视频画面前景边缘轮廓、画面不同部位的反差、色调、影调、前后景的比例透视和空间透视、画面重复性等特征，可以找出视频画面的合成痕迹。
4、单帧数据的基本结构
通过对监控视频进行深入研究发现，在监控视频的编码过程中，往往会加入监控厂商自定义的一些描述信息。在对监控视频文件进行真伪判别时，可检验单帧数据的基本结构。通过分析监控视频数据各自自定义的描述信息，对比前、后视频帧结构描述信息，根据帧结构描述信息的差异——相邻帧是否属于同类自定义描述信息，判断视频帧数据是否被篡改。
▲帧结构描述
优缺点：
上述几种方法主要是针对监控视频文件，对于其他通用格式的视频不适用，比如mp4格式的视频、avi格式的视频。
7
基于NMF(非负矩阵分解)
和SURF(加速稳健特征)
的帧间复制粘贴盲检测算法进行真伪鉴别
连续多帧复制粘贴会在视频中产生多个视频序列，检测重复出现的帧序列可定位复制粘贴帧序列。此方法利用帧间相似度的变化判定疑似复制粘贴伪造序列的首帧和尾帧，通过对疑似序列的首尾帧进行SURF特征匹配，确定视频中是否存在连续多帧的复制粘贴伪造。
▲视频帧间复制粘贴伪造盲检流程
单帧图像处理是对每帧图像采用小波变换和非负矩阵分解NMF方法相结合，综合提取视频帧的局部特征，减低特征空间的维数，保证特征分量的非负性和帧的主要特征。
▲帧间视频复制粘贴伪造
帧间视频复制粘贴伪造有上图所示的a、b两类。视频中运动平缓的相邻帧变化呈现平稳状态，帧间相似度变化承载着视频内容变化状况。若在某一时刻相似度出现较大波动，则该时刻对应的视频帧即为疑似复制粘贴视频帧。
▲伪造视频的帧间相似度衡量
SURF特征匹配是一种基于不同尺度空间的，采用积分图像、盒子滤波以及Haar小波变换的特征点提取方法。通过SURF特征匹配在不同尺度空间和位置搜索极值点，即SURF特征点。确定主方向保证SURF特征点不受图像旋转变化的影响。通过匹配疑似复制粘贴帧的SURF特征点以及帧间相似度对比判定是否为复制粘贴帧。
优缺点：
此方法提出利用特征点匹配算法，减少特征匹配次数，降低了时间复杂度，缩短了检测时间，提高了检测准确性。不足之处在于，对于检测场景变化激烈或内容变化较大的视频检测结果波动较大，可能存在误差。
视频鉴别的发展与未来
目前，市面上辨别真假视频的工具或应用缺乏广泛的适用性，在涉及到取证、证据分析和鉴别等关系重大的应用方向上，这类工具的可扩展性和稳健性都无法完全满足实务中的需求。
以美国国防部（DARPA）研发出的“反AI变脸刑侦检测工具”为例，该工具专用于检测AI变脸/换脸造假技术，其工作原理是以AI攻AI，通过分析假视频一般不会表现出眨眼、呼吸和眼球运动这些特征，检测出图像或视频中的脸是真实的还是AI生成的。
▲研究人员使用原始视频上的眨眼检测（上图）和DeepFake生成的假视频（下图）来确定视频是否是AI伪造的。在原始视频6秒内检测到眨眼动作。
最近，DARPA助理教授Siwei Lyu及其团队又开发了一种方法，将“数字噪音”插入到照片中，防止计算机检测到屏幕上的脸部，进而预防视频被处理和修改。
这些AI刑侦取证工具的出现，仅仅标志着AI视频伪造者和数字刑侦人员之间AI军备竞赛的开始。但这种结合AI技术的检测方式，为我们鉴别真假视频提供了新的方向，因为从理论上来说，如果你用现阶段的全部技术来探测GAN生成的虚拟结果，那么它就能学会绕开这些检测技术。
这其中涉及到的一个重要原理是生成式对抗网络(GAN)，运用这一原理进行更多的研究来确保AI识别技术能够检测到最新的AI造假技术，这也是未来视频真伪鉴别研究的重点方向。
本文分享的视频真伪鉴别方法各有侧重点，为了保证鉴别结果的精确度，鉴别视频时可以采用多种方法相互结合鉴定，这样不仅为视频鉴别工作提供可靠的技术方法，又能避免由于各个方法的侧重点不同而生成错误的鉴别结论的情况出现。