Geometrically Adaptive Dictionary Attack on Face Recognition

Geometrically Adaptive Dictionary Attack on Face Recognition
基于几何自适应字典的人脸识别攻击

Abstract

基于cnn的人脸识别模型虽然有了显著的性能提高，但容易受到对抗性扰动的影响。最近的研究表明，对手可以欺骗模型，即使他们只能访问模型的硬标签输出。然而，由于需要许多查询来查找难以察觉的对抗噪声，因此减少查询的数量对于这些攻击是至关重要的。在本文中，我们指出了现有的基于决策的黑箱攻击的两个局限性。我们观察到它们浪费了对背景噪声优化的查询，而且它们没有利用为其他图像生成的对抗性扰动。我们利用3D人脸对齐来克服这些限制，并提出了一种针对人脸识别的查询高效黑箱攻击的通用策略，称为几何自适应字典攻击(GADA)。
我们的核心思想是在UV纹理贴图中创建一个对抗性扰动，并将其投射到图像中的面部。该算法将扰动搜索空间限制在人脸区域内，有效地回收了之前的扰动，大大提高了查询效率。我们将GADA策略应用于两种现有的攻击方法，并在LFW和CPLFW数据集上的实验中显示了压倒性的性能提高。此外，我们还提出了一种新的攻击策略，可以绕过基于查询相似度的状态检测，识别基于查询的黑盒攻击的过程。

1. Introduction

卷积神经网络在人脸识别方面带来了显著的性能提升，但恶意的输入可以通过被称为对抗扰动的小噪声来欺骗它们。由于面部识别技术可以广泛应用于支付、金融、犯罪识别等领域，对抗性攻击对其安全构成了巨大威胁。最近的研究[4,9,6]表明，即使对手无法访问目标模型的内部，而只能获得硬标签预测，这种攻击也是可行的。然而，基于决策的黑箱攻击需要许多查询来寻找图像的难以察觉的对抗性扰动。由于执行大量查询会造成财务负担、时间消耗，甚至会引起系统管理员的怀疑，因此 减少查询的数量 对于这些基于决策的攻击至关重要。
与此研究方向一致，Dong等人[9]提出了基于进化算法的基于决策的人脸识别攻击EA。它通过更新随机噪声的采样分布来加速扰动的收敛，并显示出比以往攻击方法更高的查询效率。
然而，大多数基于决策的针对人脸识别的攻击[9,6]，包括EA，都没有利用人脸识别优化整个图像区域噪声的特性。即使是同一个人，背景也会发生巨大的变化，所以我们可以很自然地假设，人脸识别的大多数关键特征都位于面部区域。如果只对面部区域的扰动进行优化，可以有效地减少优化背景噪声的查询浪费。
此外，据我们所知，现有的基于查询的黑盒攻击没有利用之前为其他图像创建的对抗性扰动。查询高效黑盒攻击的先验工作通过利用替代网络的梯度（[11]Exploiting promising subspaces for query-efficient black-box attacks.）、之前迭代的梯度或图像中的局部相关性作为先验信息（[17]Prior convictions: Black-box adversarial attacks with bandits and priors.）来减少所需查询的数量。然而，任何试图循环利用以往图像的对抗性扰动的文献很少。
这可能是因为直接应用之前的对抗扰动可能在大多数情况下不起作用，因为它不是针对当前图像优化的。即使我们放大之前的对抗性扰动使其对图像有效，也可能会因为扰动和人脸没对齐而影响收敛速度。尽管如此，如果之前的对抗性扰动与面部正确对齐，它可能提供一个较好的初始点和较小的量级。
以上两个限制是很难用简单的解决方案克服的。对于背景噪声优化，由于在基于决策的黑箱设置中，很难估计到目标类的梯度，对手需要用目标人的面部初始化图像，然后逐步降低扰动范数。但是，由于面部姿势和大小的差异，很难通过简单的复制粘贴将面部替换为目标身份的面部。另一方面，对于第二个限制，可以尝试基于人脸标记的Delaunay三角剖分[20]（）的传统人脸变形来对齐对抗摄动，但对于一些人脸标记不可见的大姿态，人脸变形可能无法正常工作。
本文利用3D人脸对齐技术更灵活地解决了上述限制，提出了一种针对人脸识别的高效查询黑箱攻击的通用攻击策略。我们的策略是在UV纹理贴图中创建对抗性扰动，并将它们投射到图像中的3D人脸上。这种对对抗性扰动的产生和对准过程的分离使得之前对抗性扰动的高效回收，如图1所示。此外，通过将扰动搜索空间限制在人脸识别的重要区域，减少了对背景噪声优化的不必要查询。

图1:我们方法的图解。发现使用三维人脸对齐的UV纹理图中的对抗性扰动有利于缩小搜索空间和有效利用之前的扰动。我们重复地将之前的扰动乘以1.05，直到模型对图像分类错误。为了可视化，我们将对抗性扰动加上0.5，并将其乘以5。示例图像来自LFW数据集[15]。

我们的主要贡献如下:

1. 我们提出了几何自适应字典攻击(GADA)，一种使用3D人脸对齐对人脸识别进行高效查询黑盒攻击的通用策略。该方法将扰动搜索空间限制在图像的面部区域，显著提高了查询效率。
2. GADA可以有效地利用之前在普通UV纹理图中创建的对抗性扰动，因为它可以将扰动与面对齐。据我们所知，这是第一个利用之前为其他图像创建的对抗性扰动的基于查询的黑盒攻击。
3. 为了评估基于内存的黑盒攻击，我们还提出了一种新的评估协议，该协议测量和比较用于寻找预定图像序列的标准有界对抗扰动的平均查询数。这将评估黑盒攻击方法如何有效地利用以前对目标模型的攻击经验。
4. 我们提出了一种规避状态检测的攻击策略，状态检测通过计算查询图像的感知相似度来检测基于查询的黑盒攻击过程。GADA可以通过向背景区域注入噪声来混淆基于相似度的检测器，同时逐渐减少面部区域的扰动。据我们所知，这是第一种绕过这些检测技术的有效方法。
5. 通过在LFW[15]和CPLFW[26]数据集上的实验，我们证明了GADA在应用于EA[9]和SFA（[6]Boosting decision-based black-box adversarial attacks with random sign flip.）两种攻击方法时带来了压倒性的性能提升。具体来说，对于规避对LFW数据集的攻击，与EA相比，当查询预算为1K时，我们提出的策略几乎将扰动范数减半。它还降低了寻找ℓ2范数为2 × 2100以上的对抗性扰动所需的平均查询次数。

2. 背景

2.1 人脸识别

人脸识别包括两个子任务:人脸验证和人脸识别。人脸验证是将一个候选人脸与另一个候选人脸进行比较，并验证两个人脸图像是否具有相同的身份，而人脸识别是将一个图像划分为图库身份之一的任务。在本文中，我们处理的是人脸验证任务，但该方法可以适用于人脸识别任务，因为它是一个在图库中寻找距离最近的人脸的问题。
在人脸验证中，神经网络f将输入图像x编码为特征向量f(x)∈RD，其中D表示特征维数。对于一对图像x1和x2，我们可以计算它们的ℓ2范式欧氏距离(余弦距离的代理)如下所示。

如果Dist(x1, x2)小于阈值γ，则模型识别出两幅图像中的人代表相同的身份。否则，他们会被认为是不同的。通过从SphereFace[18]、CosFace[18]和ArcFace[8]等各种角边损失，人脸验证模型的性能得到了改进。这些损失的目的是增加阶级间的距离，同时缩小阶级内的距离。最近，黄等人[16]在损失函数中引入课程学习的思想，诱导模型先处理易样本，后处理难样本，进一步提高了精度。

2.2 攻击设置

我们现在构建了一个包装了人脸验证模型的黑箱威胁模型。首先，让我们将x₁表示为x_A，将x₂表示为x_S，以明确它们分别由攻击方和服务器拥有。目标模型通过将查询输入x_A与服务器中的x_S进行比较来执行人脸验证。x_S是一个黑盒威胁模型，攻击者无法访问x_S，因此攻击者只能修改x_A并进行查询，以检查模型的硬标签预测。基于上述设置，我们可以表示一个为x_A返回硬标签h∈{1,0}的黑盒面验证模型如下:

在下面，为了便于标记，我们将省略h的下标。
对手有一个干净的图像x_A，想要生成一个扰动最小的对抗示例，同时成功欺骗目标模型h。那么，我们可以将对手的目标表示为:

其中Q是对手的查询预算，q是用于生成δ_q的查询数量，p≥0。除非另有说明，我们使用p = 2(即ℓ2范数)作为扰动范数目标。在本文中，我们也假设图像的像素值归一化为[0,1]。根据h(xA)的值(即，这对图像最初是否代表相同的身份)，我们将攻击称为不同的躲避攻击(h(x_A)=1)或模拟攻击(h(xA)=0)。这两种类型的攻击在初始值和目标上有所不同，我们将在第3节中详细解释它们。

2.3 3D人脸对齐

3D人脸对齐识别图像中人脸的三维几何形状， 有助于查找人脸像素的语义意义 。3D人脸对齐广泛应用于人脸正面化[27]和人脸呈现攻击检测[22,19]，但据我们所知，尚未用于对抗性攻击。
在基于学习的3D人脸对齐方法中，Guo等人（[10]Towards fast, accurate and stable 3d dense face alignment.）提出了3DDFA_V2算法，该算法在预测的准确性、速度和稳定性方面表现出了优异的性能。该方法通过光模型回归三维变形模型(3DMM)[2]的参数。[10]中使用的3DMM用PCA描述3D人脸，可以表示为:

其中S为人脸模型的三维网格，¯S为平均三维脸型，αid和αexp分别为脸型和表情参数。3DDFA_V2模型预测了3DMM的如下参数，p = (R， αid， αexp, t2d)，其中R和t2d分别为旋转矩阵和平移向量。根据上述预测参数，可以重构出如下的三维人脸。

此外，重构的3D人脸可以在二维图像上使用带有z缓冲区的栅格化进行渲染。

其中渲染函数显示图像x上顶点坐标为V3D的三维三角形网格和顶点颜色为CV的z缓冲区 Z。Z包含重构的3D人脸的深度，它有助于避免渲染闭塞区域。

3. 方法

总的来说，GADA在UV纹理贴图中创建对抗性扰动，并将它们投射到通过3D人脸对齐获得的3D人脸上。UV纹理图是用于绘制3D模型表面的3D模型表面的平面表示。我们可以通过UV映射将UV映射中的人脸纹理投射到3D人脸模型的表面。同样，我们也可以根据人脸的相对坐标，从3D遮盖中提取人脸纹理作为UV纹理图。由于GADA是一种针对人脸识别的查询效率黑箱攻击的通用攻击策略，我们解释了它的一般方案，但它可以适应各种攻击，以提高查询效率。
初始化3D人脸对齐。 在人脸验证中，假设每张图像都有一个人脸，通过3D人脸对齐就可以找到一个3D mask。由于人脸在图像中的位置是固定的，因此不需要每次查询都进行3D人脸对齐，所以GADA在初始阶段只执行一次3D人脸对齐，以获得3D人脸的顶点坐标。我们还在初始阶段计算Z，以防止将来渲染闭塞区域。
UV映射。 UV纹理图中的对抗性扰动根据人脸的相对坐标包含噪声值。利用UV映射，可以将对抗性扰动正确地投影到3D人脸上，C_V保留了3D人脸模型顶点的RGB颜色噪声。它的工作原理是在3D面部上投影一个半透明的UV纹理贴图。为了将C_V的扰动投影到图像上，我们使用了修改的Render函数，该函数在栅格化中将3D面中点对应的顶点颜色添加到原始像素值中。由于GADA发现UV空间中的对抗性扰动，我们还需要使用UV→C_V转换。对于这个转换，我们使用UV坐标的双线性插值从UV纹理映射中获得C_V。
渲染GADA的细节。 在渲染3D网格的每一个三角形面时，内点的颜色是由其三个顶点的颜色按其距离加权的组合来计算的。然而，这减慢了摄动的收敛，因为图像中一个点的颜色取决于三角形的三个顶点。因此，对于每个三角形的内点，我们使用三角形第一个顶点的颜色。它提高了收敛速度，特别是在ℓ∞基于规范的攻击，如SFA[6]。
使用UV纹理贴图的原因。 顶点颜色存储在N_V × 3的C_V矩阵 中，其中N_V为3DMM的顶点数。由于我们使用密集的3D人脸模型，N_V可以大于图像的维数(在我们的实验设置中，N_V为38,365，图像的空间维数为112×112= 12,544)。如果对抗攻击试图在C_V中找到最优的对抗性扰动，那么这样大的搜索空间会降低查询效率，因为搜索需要大量的查询。同时，现有的在图像空间中操作的查询高效攻击倾向于在降尺度的图像中发现扰动来减少搜索空间。然而，在我们的例子中，图像中V_3D投影顶点的邻接关系因图像而异，因此不容易像常规图像空间攻击那样利用常见的减少查询空间的方法。此外，如果我们在C_V中发现扰动，回收效率就会变差，因为我们的渲染函数将每个图像像素映射到一个顶点，图像中只使用了相对较小比例的顶点颜色。为了有效减少搜索空间，便于回收，我们在UV纹理图中发现扰动，并将其转化为C_V，而不是直接在C_V中搜索扰动。我们将UV纹理贴图的大小设置为与图像相同的大小，但这可以任意设置，而不考虑图像的大小。

图2:用于对LFW数据集[15]进行模拟攻击的GADA初始映像示例。顶部和中间行图像分别为源图像和目标图像。如下面一行所示，目标图像的人脸被源图像的人脸替换。我们对源图像的纹理应用各种数据增强，以增加对目标身份的预测机会。最右边的图像显示了一个例子。

3.1 躲避攻击

为了躲避攻击，GADA将UV纹理映射初始化为均匀随机图像(渲染时添加纹理值时减去原始UV纹理)，用于目标模型的错误分类，并逐渐减少来自它的扰动。
字典攻击。 在普通UV空间中产生的对抗性扰动可以在攻击其他图像时提供更好的初始状态。我们可以自然地期望， 对一个人的扰动可以在同一身份的不同姿势下有效。此外，我们还推测，对一个人的干扰可能比对其他长相相似的人更有效。 从这个动机出发，当攻击完成时，GADA将最小的对敌扰动和人脸特征保存在字典中。因此，如果我们使用字典攻击，我们会用一个可用的前一个扰动初始化一个图像。当GADA从它的字典中提取之前的对抗性扰动时，它获取与当前图像最接近的特征向量对应的扰动。这是因为两幅图像的特征向量越接近，它们的相似性就越大。在它获取一个摄动后，它重复地将该扰动乘以1.05，直到目标模型对图像对分类错误。

3.2 模仿攻击

在基于决策的黑盒设置中，模仿攻击从目标身份的图像(源图像)开始，并逐渐更新图像，使其看起来像目标图像。注意，目标图像与x_S不同，攻击者无法访问x_S。除了图像的初始化不同之外，攻击过程与躲避攻击相似。由于所提出的GADA策略只对面部区域施加扰动，因此需要从目标身份的源图像中提取UV人脸纹理映射来生成初始图像。为此，它从图像中提取C_V并将其转换为UV纹理贴图。我们首先使用图像坐标的双线性插值从图像中获得C_V。要将C_V转换为UV纹理贴图，我们可以使用如下的渲染功能。

其中V_UV是UV空间中的顶点坐标。利用得到的UV纹理贴图，我们可以将目标图像的人脸替换为源图像的人脸。由于渲染函数将顶点颜色添加到相应的原始像素值，我们使用目标图像的UV纹理减去源图像的UV纹理。我们在图2中展示了一些模拟攻击的初始图像。
在模仿攻击中，我们不使用字典 ，原因如下:(1)如果字典对目标身份没有对抗性扰动，就不可能使图像被识别为目标身份;(2)即使字典对目标身份有扰动，由于面部姿势和比例的变化，投影的扰动也可能无法工作。在基于分数的攻击中，对手可以获得两个面部特征之间的距离，他们可能利用字典进行模拟攻击。
UV纹理图的数据增强。 即使将源图像的人脸投影到目标图像上，在某些情况下，由于纹理映射错误或纹理缺失，目标模型也可能无法将其识别为目标标识。为了增加找到被识别为目标标识的图像的机会，GADA对具有随机水平翻转和随机颜色抖动(亮度、对比度、饱和度、色调)的源图像的UV纹理映射应用数据增强。如果它在200次尝试后仍未能找到被识别为目标标识的图像，则对该图像应用原始的图像空间攻击。

4. 实验

4.1 实验设置

我们评估了野外标记面部(LFW)[15]和交叉姿势LFW (CPLFW)[26]数据集对GADA性能的改善。我们使用LFW数据集的原因如下:(1)LFW数据集是人脸识别领域最具代表性的数据集之一;(2)由于CPLFW数据集比LFW数据集具有更多样化的面部姿势变化，因此可以恰当地表明GADA策略在一般情况下工作良好。我们对每个数据集使用10倍分割找到精度最高的最佳阈值，并根据该阈值对图像进行分类。
为了创建用于躲避攻击的测试图像序列，我们从每个数据集中随机提取500对图像，每对图像代表一个身份。在合成模仿攻击的测试图像序列时，我们排列了每一对的左侧图像(即x_A)，以便所有对都被视为不同的身份，并将它们用于模仿攻击的目标图像。同时，我们将原始图像作为目标识别的源图像。对于这两种攻击，每个图像中可用的最大查询数都设置为10K。为了衡量攻击的查询效率，我们使用了两种类型的度量:(1)在特定查询预算内发现的对抗扰动的最小范数;(2)用于生成范数小于或等于阈值的对抗性示例的平均查询数。这个指标对于比较查询的平均次数以找到一个足够小的对抗性扰动非常有用。
在我们的实验中，我们使用在112×112对齐的MS-Celeb1M数据集[12]上训练的ArcFace ResNet-50 [8,13] model1作为黑箱攻击的目标模型。对于GADA的字典攻击，需要计算x_A嵌入的特征。由于我们假设了一个真实的黑箱设置，我们使用了一个不同于目标模型的网络。具体来说，我们使用在VGGFace2数据集[3]上训练的FaceNet2[21]。对于GADA中的3D人脸对齐，我们使用了作者提供的预训练的3DDFA_V2模型。
该方法可以应用于现有的各种基于查询的黑盒攻击，提高其查询效率。在本文中，我们将GADA应用于两种不同的基于决策的攻击，EA[9]和SFA[6]，并展示了它们的性能改进。
符号。 在我们的实验中，根据攻击方法的附加功能，我们使用了不同的攻击方法变体。为了引用它们，当使用几何自适应攻击时，我们在攻击名称后面加上“G”，当使用字典攻击时，添加“D”。例如，EAGD是EA攻击[9]的改进版本，具有提出的几何自适应攻击和字典攻击。

扫描二维码关注公众号，回复： 15145394 查看本文章

4.2 定量结果

我们评估了EA变体的查询效率。为了全面比较，我们还评估了其他最先进的基于决策的攻击方法，HSJA（[4]A query-efficient decision-based attack.）和Sign-OPT（[7]Sign-opt: A queryefficient hard-label adversarial attack.）。GADA也可以应用于上述两种攻击，但我们将GADA应用于EA，因为在我们的实验中，EA的查询效率最好。我们在补充材料中描述了每种攻击方法的超参数设置。在EAD和EAGD中，为了防止进化算法被卡在像素值范围的边界上，当使用之前的扰动时，我们将摄动区域的图像剪辑到0.2到0.8之间的范围内。
表1给出了基于决策的对抗性攻击对两个数据集的评估结果。注意，对于所有的方法，我们测量的扰动范数是在图像空间中，而不是在UV空间中。对于规避对LFW数据集的攻击，与EA相比，EAGD将最小摄动范数降低了1.03。EAGD的结果清楚地表明，使用字典来利用之前的摄动有助于提高查询效率。此外，与EA相比，对于躲避攻击，EAGD将寻找范数小于等于2的对抗性扰动所需的查询次数减少了2170次，对于模拟攻击则减少了1046次。这种查询效率可以为攻击者节省大量资源。我们在补充材料中绘制了摄动范数曲线，直观地展示了每种方法的查询效率。

表1:对两个数据集的基于决策的对抗攻击的评估。

4.3 定性结果

图3显示了来自EA及其变体的对抗示例。EAG只在面部区域产生扰动，因此与EA不同，背景噪声不存在。由于GADA减小了搜索空间，可以看出，当Q=3K时，相对于EA，摄动明显减小。EAGD的字典攻击有助于从较小的摄动开始，结果表明，当Q=1K时，EAGD将摄动范数降低到0.37×，相比EAG。
对于模拟攻击，现有的方法从目标标识的源图像开始，迭代地更新对抗示例，使其看起来像目标图像。然而，如图3所示，如果目标图像的背景是平坦的，对抗性扰动会变得更加明显。相比之下，由于GADA最初将目标图像的面部替换为源图像的面部，并对面部区域的扰动进行了优化，当查询预算仅为2K时，噪声将变得难以察觉。为了与其他攻击进行更多的定性比较，我们在补充材料中包含了更多的范例结果。我们还使用了更深层次的目标模型curriculum Face ResNet-100[16,13]进行了上述实验，实验结果列在补充材料中。

图3:对LFW数据集[15]进行躲避和模拟攻击的定性结果。对于每种攻击，我们在每个查询预算中演示了最小标准对抗示例。每幅图像下方显示扰动范数ℓ2。

4.4 适应基于ℓ∞范式的攻击

由于GADA是一种适用于各种基于查询的黑盒攻击的通用策略，我们将其应用到SFA[6]上，该SFA[6]对ℓ∞范数约束特别有效。图4显示了SFA及其变体在躲避LFW数据集攻击时的结果。SFAGD明显比SFA降低摄动范数更快。当Q=10K时，SFAD和SFAGD之间的ℓ∞范数相差很小，但SFAGD几乎减半了ℓ2范数，因为SFAGD只扰动面部区域。

图4:SFA及其变体规避LFW数据集攻击的摄动范数曲线。实线表示微扰的ℓ∞范数，虚线表示微扰的l2范数。

4.5 获取扰动的不同方法

GADA最初将多个恒等式的对抗性扰动存储在一个字典中，以获取特征空间中最接近恒等式的扰动，以便将来更好地初始化。在消融研究中，我们发现了这种抓取方式的有效性。我们评估了两种不同的获取方式:EAGD1和EAGDR。EAGD1有一个只有一个内存插槽的字典，这样它就可以为每次攻击获取和更新扰动。EAGDR像EAGD一样存储许多身份的对抗性扰动，但它在字典中随机获取扰动，除非字典中存在相同的人脸特征。图5显示了EAGD的结果以及上面的变体。结果表明，在早期阶段，EAGD确实比其他变体具有更高的查询效率。我们可以取最接近的top-k摄动，将它们乘以一个大的数，然后逐渐缩小，以找到最小的对抗性摄动。设计一种有效的方法在字典中找到更有用的摄动可能是未来一个有趣的研究课题。

图5:不同获取摄动方式的摄动范数曲线。

4.6 逃避状态检测

基于查询的黑盒攻击不可避免地需要为其进程中的查询发送大量感知上相似的图像。针对这一共性，最近提出了一种基于内存的检测技术[5]。它存储最近查询的感知相似嵌入，如果相似嵌入过多，则检测生成对抗示例。该算法利用相似度编码器将每幅图像编码为一个特征，并将其存储在其内存中。如果当前图像嵌入的k-近邻(k-NN)距离小于阈值，则检测器判断该查询为对敌攻击。现有的基于决策的黑盒攻击由于其本质几乎不可能避免这种检测技术。
尽管存在这些困难，我们提出了一种新的攻击策略，通过向前景和背景注入不同的噪声来避免这种检测。具体来说，我们在优化前景扰动的同时，通过不断地在背景中添加小的随机噪声来干扰相似检测器。这样做的一个基本前提是背景噪声不应影响目标模型的预测。由于大多数人脸识别模型关注的都是人脸的内部部分，我们假设这个前提对于一般情况是成立的。
为了在我们的实验环境中评估这种方法，我们需要针对较大尺寸的图像使用一种新的相似编码器，因为Chen等人[5]对cifa -10数据集的32x32大小的图像使用感知相似编码器。取而代之，我们使用学习感知图像补丁相似度(LPIPS)[25]作为相似度编码器，它可以测量一般的感知相似度。对于LPIPS v0.1，我们使用预训练的SqueezeNet模型，k- nn距离使用k=50，检测阈值使用2e-3。对于它的内存，我们使用一个包含100个最近查询的循环缓冲区。只有当缓冲区中存储的查询超过k−1个时，检测才会起作用。在[5]之后，每当检测到对抗性攻击时，我们都会刷新缓冲区。我们对LFW数据集测试序列的前100张图像的躲避攻击进行了评估。对于SO、HSJA、EA和EAG，每张图像的平均检测次数分别为166、191、188、192。考虑到10K除以k(50)的总查询预算为200，以上结果表明，大多数攻击在检测器开始运行时立即被检测到。
在描述针对检测的新攻击策略的结果之前，我们先详细解释我们的攻击策略。我们在背景中加入随机高斯噪声，σ = 0.01除以图像中的背景面积比。当背景面积相对较小时，这会产生较大的噪声。为了避免被检测到，我们还对整个图像应用了σ = 0.02的随机高斯噪声。我们将这两个变体分别命名为EAGR和EAR。注意，背景的比例平均小于30%，所以我们在大多数情况下对EAR使用较小的σ。对于这两种方法，我们每i次迭代都进行一次无背景噪声的查询，通过排除背景噪声来减小扰动范数。我们在实验中使用i = 20，但i应该设置成与探测器缓冲区大小成正比。在与其他攻击相同的实验设置下，这两种方法都不会被100张测试图像检测到。而当查询预算为10K时，EAR和eager的最小摄动范数平均值分别为11.69和3.47。这意味着，与EAR不同的是，eagar能够成功地降低扰动范数，同时避免被检测到。图6为测试图像的k-NN距离和摄动范数曲线。

图6:EA及其变体的摄动范数和k-NN距离曲线。如果k-NN距离低于阈值，则将该查询检测为对抗性攻击。

5. 相关工作

下面，我们简要介绍了相关研究及其与我们的战略的区别。Dabouei等人利用带有人脸标志的图像的空间变换来欺骗人脸识别模型。它通过替换白盒威胁模型中面部标志的位置创建了一个对抗示例。它与我们的策略很常见，因为它基于面部几何形状创建扰动，但GADA有很大的不同，因为GADA是一种基于强度的查询高效黑盒攻击策略，可以在UV图中发现扰动。另一方面，有几种基于3D模型的对抗性攻击[1,23,24]，它们在2D空间中渲染3D模型并找到对抗性形状或纹理。然而，它们的目标不是查询高效的黑箱攻击，而是在不同视图下的健壮攻击。

6. 总结

在本文中，我们提出了一种针对人脸识别的查询高效黑盒攻击的一般策略。它在普通UV纹理图中创建对抗性扰动，并通过3D人脸对齐将其投射到面部区域。通过分离面部区域和背景，我们还建议在背景中注入几乎不会影响预测的噪声，可以帮助避免状态检测。在本文中，我们为基于内存的黑盒攻击开辟了一种新的研究途径，它可以有效地利用之前发现的扰动。我们将发布GADA的代码和测试图像序列的索引，与其他研究人员进行富有成效的探索。我们工作的广义核心思想是将摄动搜索空间限制在感兴趣的区域内，并回收先前发现的具有对象感知语义对应的摄动。在本文中，我们处理的是人脸识别，但上面的思想可以有效地攻击其他任务。我们把它们留给以后的工作。