LOWKEY: LEVERAGING ADVERSARIAL ATTACKS TO PROTECT SOCIAL MEDIA USERS FROM FACIAL RECOGNITION

LOWKEY: LEVERAGING ADVERSARIAL ATTACKS TO PROTECT SOCIAL MEDIA USERS FROM FACIAL RECOGNITION
LOWKEY:利用对抗性攻击保护社交媒体用户免受面部识别
论文地址:https://arxiv.org/abs/2101.07922

摘要

可以绕过人脸识别系统的对抗扰动已经被提出了,然而,现有的(对抗)方法在全面系统和商业api上失败了。我们开发了我们自己的对抗性滤波器,它包括整个图像处理流程,并且对包括人脸检测和大规模数据库在内的工业级流程非常有效。此外,我们发布了一个易于使用的网络工具,显著降低了Amazon Rekognition和Microsoft Azure人脸识别API的准确性,将它们的准确性降低到1%以下。

一、引言

人脸识别系统被广泛应用,隐私问题引发担忧。
我们开发了一种工具LowKey,通过利用对抗攻击文献中的方法来保护用户免受未经授权的监视,并将其作为网络工具提供给公众。
LowKey是第一个有效对抗商业面部识别api的规避工具。
我们的系统在用户图像在社交媒体上公开之前会对其进行预处理,以便第三方无法将其用于面部识别目的。我们在整个工作中建立了LowKey的有效性。
文章的贡献:

  • 我们设计了一种针对人脸识别模型的黑盒对抗性攻击。我们的算法改变图库人脸的特征空间表示,使它们不匹配相应的探针图像,同时保持图像质量。
  • 我们在商业黑盒api(包括Amazon Rekognition和Microsoft Azure Face)上测试我们的方法的性能,这些api的内部工作原理尚未公开。我们与现有的攻击方案Fawkes (Shan et al., 2020)进行了全面的比较,我们发现,Fawkes 在每个实验中都是无效的,但我们的方法始终阻止了面部识别。
  • 我们发布了一个简单易用的网络工具LowKey,这样社交媒体用户就不用再面临选择,是将他们的社交媒体从公众视野中撤出,还是冒着被监视的风险。

二、相关工作

众所周知,神经网络很容易受到对抗性攻击,输入的小扰动不会改变语义内容,但会导致网络行为失常(Goodfellow等人,2014)。对抗性攻击的文献主要集中在开发新的算法,在模拟中,这些算法能够欺骗神经网络。到目前为止,大多数研究都集中在物理世界攻击的概念上,攻击者将对抗性模式放置在一个物体上,希望这种对抗性属性转移到该物体的图像上。这样的攻击不会可靠地成功,因为对抗性扰动必须在各种照明条件、目标方向和遮挡下的成像中存活(Kurakin等人,2016)。虽然研究人员已经成功地设计了针对现实系统的此类攻击,但这些攻击并不能跨环境持续工作(Wu等人,2019;Xu等人,2019;Goldblum等人,2020年)。在人脸识别方面,攻击主要集中在物理后门威胁模型或验证规避攻击(Wenger等人,2020;钟,邓,2020)。与这些物理威胁模型不同的是,我们操作的环境是纯数字的,这意味着我们可以在比特级别上操纵数字媒体的内容,然后直接将操纵的数据交给机器学习系统。数字化操纵媒体的能力大大简化了攻击系统的任务,并已被证明可以增强黑盒工业系统的可转移性,用于版权检测(Saadatpanah等人,2020年)和金融时间序列分析(Goldblum等人,2020年)等应用。
最近,Fawkes算法被开发用于防止社交媒体图像被未经授权的面部识别系统使用(Shan等人,2020)。然而,《Fawkes》以及原著中对其进行评估的实验设置都面临着严重的问题。首先,Fawkes假设面部识别从业者根据每个人的数据训练他们的模型。然而,高性能FR系统反而利用大型预训练的暹罗网络(Liu等人,2017;Deng等人,2019)。其次,作者主要使用图像分类器。相比之下,商业系统使用fr特定的头部和损失函数进行训练,而不是分类器使用的标准交叉熵损失。第三,作者对非常小的数据集进行评估。具体来说,他们将Fawkes与只有50张图片的商业api进行对比测试。第四,该系统只使用top-1精确度进行评估,但警察部门等FR用户经常编制嫌疑人名单,而不是单个人。因此,像top-50准确率这样的其他指标经常被用于面部识别,并且对于系统何时被成功抑制是一个更现实的指标。第五,虽然原作描绘的Fawkes的扰动是人眼无法察觉的,但代码库的经验表明,情况恰恰相反(事实上,纽约时报的一名记者同样注意到,她在演示中看到的Fawkes图像明显严重失真)。最后,福克斯还没有发布应用程序或网络工具,普通的社交媒体用户也不太可能使用git存储库。我们的攻击避免了上述限制,我们对大量图像和身份进行了全面的评估。在与Fawkes比较时,我们使用作者自己的实现,以确保所有评估都是公平的。此外,我们使用Fawkes的最高保护设置,以确保LowKey的性能优于Fawkes的最佳攻击。【Fawkes的不足】

三、对大规模监控的LowKey攻击

3.1 问题的设置

为了让我们的工作更普及,我们首先介绍常见的面部识别术语。
Gallery images(图库图像)是具有已知身份的数据库图像。这些信息通常来源于护照照片和社交媒体资料。该图库被用作比较新图片的参考。
Probe images(探测图像)是FR系统的用户想要识别类别的新照片。例如,可以从视频监控录像中提取探测图像。然后将提取的图像输入FR系统,并与已知身份的画廊图像进行匹配。
Identification(识别)是回答这个问题的任务,“这个人是谁?”。识别需要将探测图像与图库图像进行比较,以便找到潜在的匹配。相反,验证回答的问题是:“这个人是他们所说的那个人吗?”,或者相当于“这两张照片是同一个人的吗?”。验证功能主要用于解锁手机等。
在我们的工作中,我们关注的是可用于大规模监控的身份识别。在使用神经网络从探针图像提取面部特征之前,最先进的面部识别系统首先检测和对齐面孔。然后,这些系统使用k近邻搜索找到具有最近特征向量的图片库图像。然后,匹配的图库图像被认为是与探测照片中的人相对应的可能身份。LowKey将过滤器应用于可能最终会出现在某组织的图像数据库中的用户图像。结果是破坏图库的特征向量,使它们与用户探测图像对应的特征向量不匹配。
LowKey管道的可视化描述可以在图2中找到。
在这里插入图片描述
图2:LowKey管道。当用户使用LowKey保护其公开可用的图像时,面部识别系统无法将这些获取的图像与用户的新图像(例如来自监控摄像头的图像)进行匹配。

LowKey攻击

LowKey操作潜在的图库图像,使它们不匹配同一个人的探测图像。LowKey通过生成一个特征向量远离原始图像的扰动图像来实现这一点,同时最小化原始图像和扰动图像之间的感知相似性损失。最大化特征空间中的距离可以防止图像与个体的其他图像相匹配,而感知相似性损失可以防止图像质量下降。在这一节中,我们制定优化问题,并描述一些重要的细节。
LowKey旨在规避专有FR系统,该系统包含不为人知的预处理步骤和神经网络主干。为了提高我们攻击未知人脸识别系统的可转移性,LowKey同时攻击使用不同训练算法产生的具有各种骨干架构的模型集合。此外,对于集合中的每个模型,目标函数同时考虑受攻击图像的特征向量位置,包括高斯模糊和非高斯模糊。我们发现这种技术改善了被攻击图像的外观和可转移性。关于系综和高斯平滑的实验和消融可以在第6节中找到。对于感知相似性损失,我们使用LPIPS,这是一种基于imagenet训练的特征提取器的特征空间中l2距离的度量(Zhang et al., 2018)。LPIPS已被有效地用于图像分类设置,以提高对抗性示例的图像质量(Laidlaw等人,2020)。
形式上,我们求解的优化问题是
在这里插入图片描述
其中x为原始图像,x‘为扰动后的图像,fi为集合中的第i个模型,G为参数固定的高斯平滑函数,A为按112 × 112调整和对齐后的检测和提取到的人脸。人脸检测步骤是LowKey目标函数的重要组成部分,因为商业系统依赖于人脸检测和提取,因为探针图像通常包含比人脸大得多的场景,或者包含与人脸识别系统不兼容的人脸。
我们使用有符号梯度上升(signed gradient ascent)迭代解决这个最大化问题,众所周知,该方法对于打破常见的图像分类系统非常有效(Madry等人,2017)。即,我们通过添加最大化目标(1)关于x’的梯度的符号来迭代更新x’。通过这样做,我们将x’和G(x’)在LowKey集合中使用的模型fi的特征空间中远离原始图像x。该集成包括四个特征提取器,IR-152和ResNet-152骨干与ArcFace和CosFace头部训练。更多的细节可以在下一节中找到。
关于攻击超参数的更多细节可以在附录8.1中找到。

四、实验设计

我们的模型集合包含ArcFace和CosFace面部识别系统(Deng等人,2019;Wang et al., 2018)。对于每个系统,我们在MS-Celeb-1M数据集上训练ResNet-50、ResNet-152、IR-50和IR-152骨干,该数据集包含超过8.5万个身份的超过500万张图像(He等人,2016;邓等人,2019;Guo et al., 2016)。我们在集成中使用这些模型来生成攻击,并在第6节中进行控制实验。关于我们的模型及其训练例程的更多细节可以在附录8.1中找到。
我们主要在FaceScrub数据集上测试我们的攻击,该数据集是MegaFace挑战的标准识别基准,包含530个已知身份的超过10万张图像以及100万张干扰图像(Kemelmacher-Shlizerman等人,2016)。我们从数据集中丢弃接近重复的图像,这是人脸识别文献中的常见做法(Zhang等人,2020)。我们还对UMDFaces数据集进行实验,该数据集可以在附录8.3中找到(Bansal等人,2017)。我们将每个身份的图像的十分之一作为探测图像,并将剩余的图像插入到图库中。我们随机选择100个身份,并应用LowKey到他们的每个图像图库。此设置模拟在较大的非用户群体中存在一小部分LowKey用户。然后,为了执行识别的单一评估试验,我们从一个已知身份中随机抽样一个探针图像,并根据面部识别模型在FaceScrub数据集的其余部分中找到最接近它的匹配。距离在模型的特征空间中测量。如果FR模型从相同的身份中选择了匹配,那么试验是成功的。
注1 (Rank-k Accuracy)。对于每一个探针图像,如果在模型的特征空间中最接近的k个图库图像中出现正确的标识,我们认为模型在rank-k设置中成功。为了测试攻击的可转移性,我们计算了rank-1和rank-50的攻击精度,并从我们训练好的FR模型集中测试特征提取器。

五、打破商业黑盒API

我们的保护工具的最终测试是对抗商业系统。这些系统是专有的,它们的确切规格不公开。我们使用两个商业面部识别api: Amazon Rekognition和Microsoft Azure Face在黑盒设置中测试LowKey。我们还和Fawkes做了比较。我们使用作者自己的代码和超参数生成Fawkes图像,以确保公平的比较,我们使用他们的代码提供的最高保护设置。

Amazon Rekognition Amazon Rekognition是一款用于检测和识别照片中的人脸的商业工具。Rekognition的工作原理是将探针图像与上传的具有已知标签的图库图像进行匹配。亚马逊没有描述他们的算法是如何工作的,但他们的方法似乎不涉及对上传的图片进行模型训练(至少不是在监督的方式下)。我们使用FaceScrub数据集(包括干扰物)测试Rekognition API,其中100个随机选择的身份的图像被攻击,如第4节所述。我们观察到,LowKey是非常有效的,即使在rank-50精度的设置下,Rekognition也只能识别出属于使用LowKey保护的用户的2.4%的探针图像。相比之下,Fawkes失败了,77.5%的属于其用户的探测图像在rank-1设置中被正确识别,其中94.9%的图像在考虑50个最接近的匹配时被正确识别。这接近于Amazon Rekognition在清晰图像上的表现。
Microsoft Azure Face 我们在微软Azure面部识别API上重复了类似的实验。与亚马逊的API不同,微软更新了他们上传图片库的模式。因此,只能使用已知的身份,所以我们只包含FaceScrub中530个已知身份对应的图像,没有干扰物。Azure系统在受LowKey保护的图像中只识别0.1%的探测图像。尽管Fawkes被设计为数据中毒,而且作者声称它特别适合微软Azure Face,但在我们的实验中,Azure仍然能够识别使用Fawkes的用户上传的超过74%的探测图像。

在这里插入图片描述
表1:Amazon Rekognition和Microsoft Azure Face在使用LowKey和Fawkes保护的FaceScrub数据上的评估(数量少,颜色浅,表示攻击成功)。LowKey始终如一地实现几乎完美的保护,而Fawkes提供的保护很少。

我们从这些实验中得出结论,LowKey是高效的,甚至可以转移到最先进的工业面部识别系统。在下一节中,我们将探讨攻击的几个组成部分,以揭示成功攻击的工具。

六、额外的实验

我们的保护工具的有效性取决于以下几个特性:

  1. 攻击必须有效地转移到不可见的模型。
  2. 图像必须是用户可以接受的。
  3. LowKey必须运行得足够快,以便运行时不会超过它的保护效益。
  4. 被攻击的图像在以PNG和JPG格式保存后必须保持有效。
  5. 该算法必须缩放到任何大小的图像。

我们在本节中使用各种面部识别系统进行了广泛的实验,以验证LowKey的这些属性。

6.1 集合和可转移性

在开发用于计算攻击的模型集合时,我们检查由一个模型产生的攻击对另一个模型有效的程度。通过将一个折衷的混合模型包含在在我们的集合中,我们能够确保LowKey产生的图像欺骗各种各样的面部识别系统。为此,我们评估了使用ResNet-50、ResNet-152、IR-50和IR-152骨干以及ArcFace和CosFace头部的所有 源和受害者模型对 的攻击。对于每个受害者模型,我们额外测量了在干净的图像上、我们的集合攻击和Fawkes上的表现。这些组合的排名50的性能比较见表2。在rank-1设置和UMDFaces数据集中的附加评估可以分别在附录8.2和8.3中找到。请注意,攻击者和防御者模型相同的条目描述了白盒性能,而这些模型不同的条目描述了黑盒可转移性。
在这里插入图片描述
表2:LowKey和Fawkes攻击的50级精度。在前两行之后,每一行表示从同一模型生成的LowKey攻击。每一列表示对单个模型的识别。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。

我们在这些实验中观察到,由IR架构产生的对抗性攻击可以更好地转移到基于IR的面部识别系统,而由ResNet架构产生的攻击可以更好地转移到其他ResNet系统。一般来说,对152层骨干网的攻击比对50层骨干网的攻击更有效,而且更深的网络也更难以欺骗。此外,攻击可以在相同头部训练的模型之间更好地转移。ResNet-152和IR-152骨干网的所有组合模型以及ArcFace和CosFace头部的集合产生了有效转移到所有模型和愚弄模型的攻击,其速度只比白盒攻击略低。

6.2 高斯平滑

我们在我们的目标函数(1)中加入高斯平滑作为预处理步骤,以使我们的扰动更平滑和更稳健。直观上,这提高了被攻击图像的有效性,即使应用了去噪滤波器。模糊的存在迫使对抗性扰动依赖于平滑/低频图像修改,而不是对抗性“噪声”。根据经验,我们发现用这个程序计算的攻击产生稍微更平滑和更美观的扰动,没有尖锐的线和高频振荡。图3是在LowKey管道中使用高斯平滑和不使用高斯平滑产生的图像的视觉对比。
在这里插入图片描述
图3:在没有(上)高斯平滑和(下)高斯平滑的情况下计算的LowKey攻击图像。

此外,我们还生成了带有或不带有平滑处理的攻击管道图像。在将它们输入到人脸识别系统之前,我们通过在推断之前应用高斯平滑预处理步骤来防御系统对我们的攻击。
我们发现,使用这个预处理步骤的面部识别系统在rank-50(而不是rank-1)精度上与没有平滑的性能相比表现得同样好,而且它们还能够击败没有使用高斯平滑计算的攻击。另一方面,使用高斯平滑计算的攻击能够抵消这种防御并欺骗面部识别系统(见表3)。这表明在其管道中使用高斯平滑的攻击更健壮,更难防御。高斯平滑超参数的详细信息请参见附录8.6。
在这里插入图片描述
表3:FR模型在经过/不经过高斯平滑计算的模糊LowKey图像上测试的Rank-50精度。

6.3 运行时间

为了让用户愿意使用我们的工具,LowKey必须运行得足够快,它使用起来不会带来不便。计算对抗攻击是一项计算成本很高的任务。我们将运行时间与Fawkes作为基准,并在单个NVIDIA GeForce RTX 2080 TI GPU上测试这两种攻击。我们每次攻击一张图片,不进行批处理进行公平比较,我们平均运行从FaceScrub随机选择的5个身份中的每个完整尺寸的图库图片。Fawkes每张图片平均耗时54秒,而LowKey每张图片平均耗时32秒。除了提供远为优越的保护,LowKey运行速度明显快于现有方法,为用户提供更流畅、更方便的体验。

6.4 图像压缩的鲁棒性

由于用户在通过LowKey后可能会以各种格式保存他们的图像,所以我们制作的图像即使以普通格式保存后也必须提供保护。我们的基线测试使用未压缩的PNG格式保存的图像进行。为了测试压缩下的性能,我们将受保护的图像转换为JPEG格式,并在商业api上重复我们的实验。虽然压缩会略微降低性能,但这种攻击仍然非常有效:Microsoft Azure Face现在能够识别0.2%的图像,而以PNG格式保存时只能识别0.1%。同样,Amazon Rekognition现在的探测图像识别率为3.8%,而之前为2.4%。

6.5 可扩展到所有图像大小(不承诺)

深度学习中的许多工具都要求输入特定的维度,但社交媒体网站上的用户图片形状和大小各异。因此,LowKey必须灵活。由于我们攻击中的检测和对齐管道以可微的方式调整图像的大小,所以我们可以攻击任何大小和纵横比的图像。此外,我们对整个原始图像应用了LPIPS惩罚,这可以防止这样可以防止盒子形状的工件在包含人脸的矩形边界上形成。由于LowKey没有固定的攻击预算,在不同的图像上,扰动可能有不同的大小。图4显示了非常大的图像上LowKey扰动的可变性;汤姆·汉克斯(第一栏)的图片是LowKey在大图片上最好看的例子之一,而蒂娜·菲(最后一栏)的图片是最难看的例子之一。保护非常大的图像比保护小的图像更具有挑战性,因为api中使用的黑盒检测、对齐和重新缩放对大图像的影响更大。这些实验表明,用户在较小的图像上使用LowKey会得到更强的保护。
在这里插入图片描述
图4 第一行:原图大图,第二行:LowKey保护的图片(中等量级),第三行:LowKey保护的图片(大量级)。

我们通过保护10个身份的图库图片免受Facescrub的影响(平均图库中有17张图片),并使用每个人20张探头图片来测试LowKey在大型图片上的有效性。我们还改变扰动的大小,以找到足以保护图像的最小扰动(表4)。通过这种方式,我们发现用户可以根据自己的判断牺牲一些保护来换取更好看的图像。此外,我们发现,LowKey在较小的图库尺寸下工作得更好;当只使用5张图库图片时,Amazon Rekognition的性能从32.5%下降到排名50的11%。这一观察结果表明,用户可以减少上传新头像的频率,以减少与其身份相对应的图库图片的数量,从而加强对他们的保护。最后,探测图像的质量也很重要:当使用小探测图像时,比如在低分辨率的安全摄像头镜头中出现的图像,Amazon Rekognition的准确率从32.5%下降到19%。
在这里插入图片描述
表4:LowKey在全尺寸图像上的评价。行表示LowKey的级别(由攻击步骤数表示)。

七、讨论

在这项工作中,我们开发了一个工具,以保护用户免受未经授权的面部识别。我们的工具在用户图片上传到社交媒体之前对其进行对抗预处理。这些预处理后的图像对于第三方机构收集来进行面部识别是无用的。虽然我们已经证明了LowKey对于商业黑箱api是非常有效的,但它不能100%地保护用户,可能会被专门设计的健壮系统所绕过。因此,我们希望用户在公开个人信息时仍保持谨慎。一个有趣的未来方向是生产更具美感的对抗性过滤器,以促进该工具的更广泛使用。然而,可能没有免费的午餐,如果没有可见的干扰,人们无法欺骗最先进的面部识别系统。面部识别系统并不脆弱,其他试图破坏它们的攻击都失败了。最后,我们注意到,我们推广这一工具的目标之一是提高人们对面部识别及其引发的道德问题的更广泛认识。我们的网络工具可以在lowkey.umiacs.umd.edu找到。

八、附录

8.1 实现细节

我们使用焦损(focal loss)(Lin等人,2017)训练我们所有的特征提取器,120个epoch,batch size为512。我们使用0.1的初始学习率,并在第35、65和95阶段将其降低10倍。对于优化器,我们使用动量为0.9、权重衰减为5e-4的SGD。
对于我们的对抗性攻击,我们使用0.05作为感知相似性惩罚,σ = 3和窗口大小7作为高斯平滑项。攻击使用有符号SGD计算50个epoch,学习率为0.0025。
对于人脸检测和对准模型以及训练程序,我们使用face.evoL V e.PyTorch github库(Zhao, 2020)。

8.2 FaceScrub上的rank-1准确率

在这里插入图片描述
表5:FaceScrub数据集上LowKey和Fawkes攻击的rank-1准确率。在前两行之后,每一行表示从同一模型生成的LowKey攻击。每一列表示对单个模型的识别。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。

8.3 UMDfaces数据集的结果

我们在UMDFaces数据集上重复了控制实验,该数据集包含8277个身份的367,000张照片。对于UMDFaces,我们还随机选择100个身份,攻击他们的图库图像,同时保留每个身份的十分之一的照片作为探针图像。实验结果见表6和表7。可以看到,对UMDFaces数据集的LowKey攻击的有效性稍低,这可能是由于图库更小的结果。
在这里插入图片描述
表6:UMDFaces数据集上LowKey攻击的rank-50准确率。在第一行之后,每一行表示同一个模型生成的LowKey攻击。每一列表示对单个模型的识别。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。
在这里插入图片描述
表7:UMDFaces数据集上LowKey攻击的rank-1准确率。在第一行之后,每一行表示同一个模型生成的LowKey攻击。每一列表示对单个模型的识别。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。

8.4 我们能减少攻击规模吗?

为了使我们的攻击更具美感,我们试图通过将感知相似性惩罚从0.05增加到0.08来减少干扰的大小。这种攻击在图5中被描述为“LowKey小攻击”。不幸的是,即使是微小的扰动大小的减少也会导致攻击效率的巨大下降。在rank=-50的设置中,Amazon Rekognition能够识别出属于受到LowKey小攻击保护的用户的17.2%的探测图像。同样,微软Azure Face只能识别5.5%的探针图像。对照实验结果见表8和表9。
在这里插入图片描述
表8:UMDFaces数据集上LowKey小攻击的rank-59准确率。在第一行之后,每一行表示同一个模型生成的LowKey小攻击。每一列表示对单个模型的推断。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。
在这里插入图片描述
表9:UMDFaces数据集上LowKey小攻击的rank-1准确率。在第一行之后,每一行表示同一个模型生成的LowKey小攻击。每一列表示对单个模型的推断。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。

8.5 与Fawkes对比

通过比较一组使用LowKey和Fawkes工具保护的图像,我们可以看到,这两种攻击都是明显的,但扭曲图像的方式不同。Fawkes在脸上添加了明显的神器(如胡子或鼻子上的线条),而LowKey攻击主要是改变纹理,并在一个人的皮肤上添加斑点。请参见图5进行可视化比较。
在这里插入图片描述
图5:不同攻击的面板。第一行:原图,第二行:Fawkes攻击,第三行:LowKey小攻击,最后一行:LowKey攻击。

8.6 LowKey中的高斯平滑

优化问题(1)中高斯平滑项的参数,σ用3表示,窗口大小用7表示。对于防御性高斯模糊,我们使用σ = 2和无窗口大小。
在这里插入图片描述
表10:FR模型在不使用高斯平滑项和使用高斯平滑项攻击的模糊图像上测试的rank-1准确率。模型名称的前两个字母表示主干的类型:IR或ResNet (RN)。模型名称中的最后一个字母表示头部的类型;“A”表示ArcFace,“C”表示CosFace。数字越小,颜色越浅,表示攻击越成功。

猜你喜欢

转载自blog.csdn.net/weixin_45184581/article/details/125660336