论文笔记:使用区块链和智能合约打击深度假冒视频

image.png

摘要

随着人工智能(AI)和深度学习技术的兴起,近年来虚假数字内容激增。假镜头、假图像、假音频和假视频(被称为深度假冒,Deepfake)可能是一种危险的现象,有可能改变真相,并通过伪造事实来侵蚀信任。数字媒体的真实性证明(PoA,Proof of authenticity)对于根除伪造内容的流行至关重要。目前的解决方案缺乏提供数字媒体历史跟踪和来源的能力。本文提出了一种基于以太坊智能合约的解决方案和总体框架,即使数字内容被多次复制,也能追踪数字内容到原始来源的发展和历史。智能合约利用了用于存储数字内容及其元数据的行星际文件系统(IPFS,Interplanetary file system)的散列。我们的解决方案侧重于视频内容,但本文提供的解决方案框架足够通用,可以应用于任何其他形式的数字内容。我们的解决方案依赖于这样一个原则:如果内容可以可靠地追踪到可信或信誉良好的来源,那么内容就可以真实可信。智能合约的完整代码已在Github上公开。

01

引言

最近人工智能、深度学习和图像处理的兴起,引领了深度假冒视频(Deepfake videos)的制作[1],[2],一段短至美国前总统奥巴马一分钟的视频在2018年4月走红,在视频中,奥巴马被看到说了他从未说过的话[3]。深度假视频是危险的,并且有可能破坏真相,迷惑观众和准确的假现实。随着社交网络的发展,此类内容的扩散势不可挡,并可能加剧与错误信息和阴谋论有关的问题。在一些早期的例子中,有很多著名的政治家,女演员,喜剧演员,演艺人员把他们的脸弄成了色情视频。

与传统的好莱坞式的假冒视频相比,深度假冒视频更逼真,更容易制作,而传统的好莱坞式的假视频通常是使用像Adobe Photoshop这样的图像处理工具手工制作的。Deepfake视频利用深度学习技术,输入大样本视频图像,实现人脸交换。样本数越高,结果就越真实。奥巴马的视频被输入了超过56个小时的样本录音,以使其极其真实可信[4]。当第一个视频以名人为目标的时候,Deepfake videos在一开始并不是一个大问题。Stover[5]和Floridi[6]将深度假冒视频描述为一场数据灾难,并呼吁鼓励公众充分利用新技术,并在社交媒体上发布合乎道德和负责任的数字内容。

现有的解决方案可用于证明物理(而非数字)艺术品的真实性。例如,购买艺术品时会提供真品证书(COA,certificate of authenticity)。此外,还可以伪造此证书,或者发现它未经已知的可信机构的签名。此外,从二级市场购买的艺术品更难证明其来源。目前所寻求的唯一方法是,手动向画廊或产品来源询问他们从以前的所有者那里获得的COA以及他们的现有客户[7]–[9]。从某种程度上说,买方需要大量的手工工作和检查,以获得准确的艺术品来源。

截至目前,还没有确定的方法来检查在线发布或发布的数字视频、音频或图像的原创性。把这些数字内容交给COA的想法是不可行的。很难以可信和可信的方式确定发布的数字项目的真实来源。一个典型的用户通常使用在线搜索引擎试图在数字媒体上找到相关的帖子、博客或评论来判断其真实性。因此,迫切需要一个在线数字内容的真实性证明(PoA)系统来识别可信的发布源,从而能够打击深度伪造的视频、音频和图像。区块链能够在分散的分布式分类账中提供不可变和防篡改的数据和交易[10]

区块链能够提供关键功能,以分散、高度信任和安全的方式证明数字资产的真实性和独创性。[16] ,[17],具有防篡改记录、日志和交易,在无权限区块链的情况下,所有人都可以公开访问,在有权限区块链的情况下,仅限于特定参与者。对于deepfakes,最适合使用无许可或公共区块链。我们在本文中的解决方案基于公共以太坊区块链和智能合约来管理和捕获数字内容交易的历史记录[18]。

在本文中,我们提出了一个基于区块链的解决方案和一个通用框架,用于证明数字资产(包括视频、音频、图像等)的真实性。我们的解决方案允许公开访问、可信和可信的数据来源,并跟踪发布的在线视频的历史记录。我们的解决方案侧重于视频内容,但本文提供的解决方案框架是通用的,可以应用于任何其他形式的数字内容,如音频和图像。我们论文的主要贡献概括如下:

  1. 我们提出了一个以太坊区块链解决方案,通过提供可信和安全的可追溯性到可信的艺术家或出版来源,建立数字内容的真实性。在整篇论文中,“艺术家”一词是指数字内容的创造者或出版商。艺术家可以包括自由职业者或受雇的摄影师、狗仔队、记者、记者等;

  2. 我们提出了以太坊智能合约的系统架构和设计细节,包括实体关系、序列图和算法,用于控制和管理参与者之间的交互和事务;

  3. 我们在基于区块链的系统设计中集成了行星际文件系统(IPFS)分散存储[19]和信誉系统、以太坊名称服务以及其他链外资源的关键功能,以访问艺术家的个人资料;

  4. 我们提供完整的实现智能合约代码1和测试细节;

  5. 我们提供测试细节以显示正确的系统功能。我们还讨论了解决方案的成本估算和安全性分析。

02

相关研究

Li和Lyu[20]提出了一种利用人工智能(AI)检测深度假冒视频的方法。建议的方法依赖于一个人工智能算法与另一个人工智能算法。他们的技术依赖于训练卷积神经网络(CNN)与操纵和真实的数字。使用四种不同的CNN网络进行测试,其准确率在84%到99%之间。他们的研究结果看起来很有希望,然而,作者指出了许多有待解决的挑战。当前获得的deepfake视频中存在的问题使得他们的方法给出了积极的结果。因此,他们认为高分辨率和高质量的深度假视频很难被发现。

美国一家名为Truepic[22]的初创公司开发了一个系统,包括典型用户和自由职业者的移动应用程序,用于捕获图像并将其保存到公司的服务器上。保存图像的目的是保持图像的完整性。因此,任何伪造的企图都可以通过与服务器上的图像进行比较而被发现。他们希望,未来他们的技术将与其他社交媒体合作使用,这些社交媒体将使用Truepic服务器中的图像验证任何上传的图像,并因此检测到任何更改。Truepic还使用区块链存储已保存图像的元数据,以确保不变性。该方法在很大程度上依赖于对图像的信任度,并且所有上传的图像都是真实的。在图像或视频帧中插入logo、文本标记、字幕或封闭式字幕时,不清楚该方法的工作原理。

03

基于区块链的POA

A. 系统概述和设计

所有参与实体都有以太坊地址

视频:视频除了图1所示的视频帧之外,还有其他重要信息。视频密钥属性以EXIF(Exchangeable Image File)格式存储为“元数据”。视频的元数据包含与捕获视频的设备、捕获设置、捕获日期和时间相关的信息,以及视频创建者可以添加的日志和手动添加的信息。每段视频都将与一个以太坊智能合约相关联,该合约可以由一位艺术家或新闻来源创建。艺术家的以太坊地址和智能合约的地址是元数据的组成部分;

IPFS存储:视频及其相关的元数据存储在一个分散的、内容可寻址的对等文件系统上,如行星际文件系统(IPFS)[19]。IPFS生成一个唯一的散列,它是包含视频内容及其元数据的文件包的地址。哈希地址用于定位和访问IPFS网络上存储的文件包。此外,IPFS捆绑包可以包括一个文件,其中包含复制和编辑的条款和条件协议,以防视频被其他作者或艺术家复制以创建不同的内容。从保存的表单生成的IPFS散列也将用于智能合约。

链上资源:视频的IPFS散列被创建后,由以太坊区块链上的原始艺术家(所有者)创建智能合约。合约有属性和变量来捕获视频细节和所有者信息。它还包含一些功能,使其他二级艺术家能够根据协议表单的条款和条件请求共享、编辑和分发许可。此外,智能合约包含基于角色或合约状态限制方法访问的修改器。此外,事件还用于创建通知并记录重要的结果和请求。变量还用于存储静态信息,如视频相关数据和合约状态。类似地,任何二级艺术家编辑的视频都会有自己的智能连接到原始视频。因此,任何原始视频的所有编辑视频都是“子”视频,并且可以在原始视频的智能合约列表中使用。因此,希望跟踪视频到其来源的用户可以使用链上资源轻松做到这一点,例如具有所有子视频智能合约列表的智能合约以及链接到他们父母的购物合约。因此,这些数据以及在分类账上创建的日志和通知都是来源数据,用户可以使用这些数据进行非常透明的跟踪。

ENS服务:用户还可以使用以太坊名称服务(ENS,the Ethereum Name Service)[26],如图1所示。ENS本质上是一个分布式名称注册系统,用于将艺术家的以太坊地址(20字节的随机值)与捕获艺术家真实身份(包括姓名、公司和个人资料)的可读文本相关联。这个想法是以分散的方式保存在分布式账本上的。

链外资源:跟踪数据的用户也可以访问链外资源,这是我们建议的解决方案的一部分。视频的智能合约以太坊地址和所有者的以太坊地址也可以链接到链外凭证数据库,如图1所示。此数据库包含有关所有者的详细信息以及指向其ENS配置文件的链接。它还将包含其他视频的详细资料,视频所有者,以便提供一个完整的个人资料和艺术作品的艺术家。

分布式信誉系统:部分下链资源是分布式信誉系统。视频创作者的档案链接到分散的信誉系统,除了评论评论外,该系统还对艺术家的评价打分[27]。这种系统可以使用智能合约的组合来计算得分,也可以使用IPFS来存储评论。提供信誉和评论可以向公众开放,也可以仅限于发表意见的成员。信誉系统变得非常重要,特别是对于未知或新艺术家、自由摄影师或记者。投票者可以给艺术家一个名声,也可以用技巧来支持这位艺术家。因此,信誉系统可以让用户更好地判断一个用户,他们的内容是否可信。

image.png

B. 追踪视频的来源

该方案的主要目的是帮助用户将多个版本的视频追溯到其来源,如果一个视频无法追溯到其原始发布者,则无法信任该视频。图2显示了用户如何具有多个系统组件(包括智能合约、IPF、ENS和其他链上和链下资源)的界面和可访问性,以建立视频内容的真实性。前端分布式应用程序(或用户DApp)可以由用户开发以自动化真实性过程,也可以集成在视频播放器或web浏览器中以指示播放或显示的数字内容的真实性。在图2中,每个视频都与指向其父视频的智能合约相关联,并且每个父视频都以分层方式链接到其子视频。如图所示,可以将智能合约“1”跟踪到其父智能合约“2”,该父智能合约已链接并可跟踪到智能合约“3”。智能合约“3”指向可追溯到原始智能合约“5”的“4”。这些出处数据是公开的,可通过以太坊账本获得。

此外,用户还可以在以太坊名称服务中查找视频艺术家的以太坊地址,以了解艺术家的个人资料和信息详细信息。用户还可以利用链外资源进行概要文件查找。这包括使用视频元数据中的信息,该元数据在IPFS服务器上可用作JSON对象。此外,用户还可以通过使用凭证数据库(该数据库还可以链接到艺术家完成的其他工作)以及基于图2中所示的IPFS信誉系统的艺术家计算来构建更好的概要文件。

image.png

04

实现和测试

智能合约编程语言:Solidity

IDE:Remix

A. 实现细节

视频的所有者(原始艺术家)首先创建一个智能合约,其他艺术家可以根据协议表单的条款和条件请求编辑、更改或分发许可。协议表单保存在IPFS服务器[19]上,其哈希作为智能合约中的一个属性可用。

二级艺术家(secondary artist,SA)请求第一个编辑、更改或共享权限。二级艺术家发送的请求也是对协议格式的条款和条件的确认。此请求由原艺术家评估,然后宣布结果。合约可以同时处理多个任务,并且可以处理同一艺术家的多个不同任务。一旦艺术家得到了他们的请求的批准,他们就会创建一个类似于原始合约的子合约,并更新父合约的信息。然后,二级艺术家要求原始艺术家通过原始视频的合约证明其新创作的合约。在检查了新创建的智能合约后,原艺术家批准并授予认证。然后,将成功证明的智能合约作为子合约添加到原始智能合约中。因此,两个合约都指向对方,因为每个合约都将对方的以太坊地址作为其属性的一部分。

图3显示了智能合约的不同实体之间的关系。首先,原始艺术家的智能合约是使用图3所示的属性创建的,例如拥有原始艺术家以太坊地址的所有者,以及基于其被授予或被拒绝权限的状态而保存视频详细信息列表的映射。此外,一个有助于追溯的重要列表是被授予认证的视频列表,这些视频被认为是原始合约的子视频。

每个合约只为一个视频创建。因此,合约和视频实体之间的1:1关系。每个视频只链接到一个具有一个以太坊地址的艺术家。此外,一个智能合约可以有多个基于成功证明的子合约。因此,原始艺术家智能合约和次要艺术家智能合约之间的1:N关系如图3所示。最后,IPFS[19]也是一个实体,它与在IPFS服务器上上载每个视频时创建的任何智能合约都有1:1的关系,其IPFS散列是智能合约中的一个属性。每个合约的条款和条件协议格式也会上传到他们的pfs服务器上,其哈希值是为视频创建的智能合约中的一个属性。

image.png

图4显示了序列图,它捕获了原始艺术家、次要艺术家和智能合约之间的交互。智能合约归原艺术家所有,次艺术家有兴趣申请更改、编辑和拥有分发权限。因此,如图4所示,辅助艺术家调用RequestPermission()函数,这表示他们还阅读了IPFS文件服务器上可用的条款和条件协议表单[19]。这将创建两个成功的事件来宣布艺术家请求的注册。然后,原始作者会回复是否授予许可或拒绝许可的结果。根据原始艺术家的结果,发生了三种不同的场景。如图4备选方案1所示的许可被拒绝,或如备选方案2和3所示的许可被授予。

授予的权限允许代理艺术家创建子智能合约,该合约是主合约在功能名称和属性方面的精确副本。子合约应具有父合约的以太坊地址(EA)。然后,第二位艺术家使用原始视频的智能合约中提供的AttestSC()函数请求进行认证。然后,原始艺术家将检查新创建的子合约,并按备选方案2所示授予尝试,或按图4备选方案3所示拒绝尝试

image.png

B. 测试和验证

采用的是比较简单的用例测试。

05

评估

A. 成本分析

在我们提议的解决方案中,使用以太来支付每笔交易的成本。对于在区块链网络上执行的每个功能,都有交易和执行气体(gas)成本。执行成本实际上是在区块链网络上处理翻译的功能码实际执行的成本,包括智能合约中的内部存储成本以及与状态的任何操作成本。此外,交易成本还包括与部署合约和将数据发送到区块链网络相关的其他因素[28]。

Table 1 shows the gas costs of the functions in the

smart contract as well as their price in US Dollars. The

gas price used in Table 1 is the average gas price>11th, 2018 which is 2.8 Gwei according to the ETH Gas

Station [29]

Table 1 shows the gas costs of the functions in the

smart contract as well as their price in US Dollars. The

gas price used in Table 1 is the average gas price>11th, 2018 which is 2.8 Gwei according to the ETH Gas

Station [29]

Table 1 shows the gas costs of the functions in the

smart contract as well as their price in US Dollars. The

gas price used in Table 1 is the average gas price>11th, 2018 which is 2.8 Gwei according to the ETH Gas

Station [29]

表1显示了智能合约中函数的gas成本以及它们的美元价格。表1中使用的天然气价格为2018年11月11日的平均天然气价格,根据ETH Gas Station[29],该价格为2.8 Gwei/美元。

表1中的函数要么由原始艺术家(OA)执行,要么由代理艺术家(SA)执行,如表的函数调用方列所示。这些功能的总成本是最低的,因为它们的成本都低于0.1美元,而成本最低的是attests功能。这是因为在智能合约的变量状态下,它没有太大的变化。另一方面,可以看出GrandInsertation函数的成本最高。这也是因为该函数正在显著更改智能合约的状态。在这里,如果认证被授予,所有的视频详细信息都会在原始智能合约中更新。这允许原始智能合约跟踪子合约的所有视频。因此,我们的智能合约运营成本与智能合约状态的变化成正比。

image.png

B. 安全分析

本节简要分析了我们基于区块链的解决方案如何确保关键安全目标,如灵活性、责任性、授权、可用性和不可否认性。我们还讨论了我们的解决方案是如何恢复的,以及如何抵御流行的攻击,如中间人攻击(MITM,Man In the Middle)、重放分布式拒绝服务(DDoS)攻击

完整性:所有的交易历史以及可供用户跟踪和追踪视频到其来源的来源数据都是防篡改的。我们的解决方案确保所有事件和日志的完整性,包括相关的可追溯性来源数据都存储在不可变的区块链基础设施中。此外,视频的完整性也得到了很好的维护,方法是将其存储在IPFS分布式服务器上,并在智能合约中只保存hash。对视频的任何更改都将导致一个新的哈希值,该哈希值与智能合约中的哈希值不匹配。因此,区块链上的视频内容是防篡改的,并且是创建者的推测,因为评论也是基于IPFS的,不能更改。

责任性(Accountability):区块链上调用方执行的智能合约中的每一个函数调用都被追溯到调用方的以太坊地址。因此,每个参与实体都对其在分类账上的行为负责。

不可抵否认性:区块链网络上发生的所有交易都由发起人以加密方式签名。因此,任何人都不能否认自己的行为,因为所有的行为都保存在防篡改日志中。

授权:在我们的智能合约代码中,每个功能只能由某个实体执行。这是使用修饰符完成的,修饰符在函数代码执行之前放置需求。仅当以太坊地址与授权执行器的以太坊地址匹配时,才会执行该函数。此外,如果证明是由原始创建者提供的,则解决方案的设计仅允许智能合约追溯到父合约。因此,需要原始创建者的授权才能完成链上验证数据更新。

可用性:参与实体一旦部署到区块链网络,就可以随时访问智能合约。所有的日志以及链上的数据都是可访问的,并通过分类账提供给所有人。由于区块链的分散性以及数以万计的采矿节点的全球布局和分布,区块链网络受到DoS和DDoS攻击的保护。储存在分类账上的信息以分散和分散的方式保存,不受黑客攻击、危害或是失败。复制防篡改记录,并可用于所有挖掘节点。

MITM和重放攻击:在链上执行的每个事务都由每个参与者的私钥加密签名。每个事务都有唯一的时间戳和id。因此,如果入侵者试图篡改内容或以任何方式修改内容,则他们无法在没有合法私钥的情况下对其进行签名,从而导致事务无效并被挖掘节点丢弃。重复的事务也将被挖掘节点丢弃。这使得解决方案能够防止重播和MITM攻击。

假冒(Impersonation)和Sybil攻击:在假冒中,攻击者伪装成合法用户来设置系统授权和访问。在Sybil攻击中,攻击者假设存在许多非法和伪造的身份,目的是在用户社区中获得更多的控制和影响。在设计上,区块链通过将每个参与者/艺术家的身份与只有用户知道的唯一私钥相关联来防止这两种攻击。在我们的提议系统中,ENS服务(这是一个分散的基于以太网的命名和注册服务)有一个所有身份的记录,所有艺术家的关联公钥具有身份属性,包括姓名、公司和个人资料。如果不将与公钥相关联的私钥存储在不可变的ENS系统中,对手将无法执行任何事务。

06

总结

在本文中,我们提出了一种基于区块链的解决方案,用于证明数字视频的真实性,在分散的管理中,可以建立对原始视频创建者或源的安全可靠的可追溯性。我们的解决方案使用分散的存储系统IPFS、以太坊名称服务和分散的计算系统。我们提出的解决方案框架、系统设计、算法、序列图、实现和测试细节都非常通用,可以应用于其他类型的数字内容,如音频、照片、图像和手稿。我们的解决方案可以帮助用户确定视频或数字内容是否可追踪到可信的来源,从而帮助打击深度假冒视频和音频。如果视频或数字内容不可跟踪,则数字内容不能被信任。我们基于智能合约的解决方案为代理艺术家提供了一种可信赖的方式,以请求原始艺术家允许他们复制和编辑视频。智能合约的完整代码已在Github上提供。智能合约的主要功能和功能已得到适当测试。我们讨论了我们的解决方案如何满足安全性要求,以及如何抵御常见的安全攻击。我们在实际以太坊网络上部署智能合约时,估计了以太坊和天然气的运营成本。成本估计是最低的,每笔交易总是低于0.095美元。作为一项未来的工作,我们正在开发前端的DApps,以便用户能够自动匹配发布视频的真实性证明的建立。此外,我们还计划开发一个可插拔的DApp组件,以便在web浏览器中播放或显示视频时提供可跟踪性并建立身份验证。此外,我们正在设计和实现一个功能全面、可操作的分散信誉系统。

发布了57 篇原创文章 · 获赞 12 · 访问量 7685

猜你喜欢

转载自blog.csdn.net/volunteer1024/article/details/103767562