顔認識に対する幾何
適応辞書攻撃
概要
CNN ベースの顔認識モデルは大幅なパフォーマンスの向上を達成しましたが、敵対的な摂動に対して脆弱です。最近の研究では、攻撃者がモデルのハードラベル出力にしかアクセスできない場合でも、モデルを欺くことができることが示されています。ただし、知覚できない敵対的なノイズを見つけるには多くのクエリが必要となるため、これらの攻撃ではクエリの数を減らすことが重要です。このホワイトペーパーでは、既存の意思決定ベースのブラックボックス攻撃の 2 つの制限を指摘します。これらはバックグラウンド ノイズに対して最適化されたクエリを無駄にし、他の画像に対して生成された敵対的な摂動を利用していないことがわかります。我々は、3D 顔位置合わせを活用してこれらの制限を克服し、Geometry Adaptive Dictionary Attack (GADA) と呼ばれる、顔認識に対するクエリ効率の高いブラックボックス攻撃のための一般的な戦略を提案します。
私たちの中心的なアイデアは、UV テクスチャ マップに敵対的な摂動を作成し、それを画像内の顔に投影することです。このアルゴリズムは、摂動検索空間を顔領域に制限し、以前の摂動を効果的に回復し、クエリ効率を大幅に向上させます。私たちは GADA 戦略を 2 つの既存の攻撃手法に適用し、LFW および CPLFW データセットの実験で圧倒的なパフォーマンスの向上を示しました。さらに、クエリの類似性に基づくステートフル検出をバイパスし、クエリベースのブラックボックス攻撃のプロセスを特定する新しい攻撃戦略を提案します。
1. はじめに
畳み込みニューラル ネットワークは、顔認識のパフォーマンスに大幅な向上をもたらしましたが、悪意のある入力により、敵対的摂動として知られる小さなノイズで騙される可能性があります。顔認識技術は決済、金融、犯罪識別などの分野で広く使用できるため、敵対的な攻撃はそのセキュリティに大きな脅威となります。最近の研究 [4、9、6] では、敵対者がターゲット モデルの内部にアクセスできず、ハードラベルの予測しか取得できない場合でも、このような攻撃は実行可能であることが示されています。ただし、意思決定ベースのブラックボックス攻撃では、画像の知覚できない敵対的な摂動を見つけるために多くのクエリが必要です。多数のクエリを実行すると経済的に負担がかかり、時間がかかり、さらにはシステム管理者からの疑惑を招く可能性があるため、このような意思決定ベースの攻撃ではクエリの数を減らすことが重要です。
この研究の方向性と一致して、Dong et al. [9] は、進化的アルゴリズムに基づいた意思決定ベースの顔認識攻撃 EA を提案しました。ランダムノイズのサンプリング分布を更新することで摂動の収束を加速し、以前の攻撃手法よりも高いクエリ効率を示します。
ただし、EA を含む顔認識に対する意思決定ベースの攻撃 [9、6] のほとんどは、画像領域全体のノイズを最適化するために顔認識の特性を利用していません。同じ人物であっても、背景が大きく変化するため、顔認識の主要な特徴のほとんどは顔領域にあると自然に推測できます。顔領域の摂動のみを最適化すると、背景ノイズの最適化によるクエリの無駄を効果的に削減できます。
さらに、私たちの知る限り、既存のクエリベースのブラックボックス攻撃は、他の画像に対して以前に作成された敵対的な摂動を悪用しません。クエリ効率の良いブラック ボックス攻撃に関するこれまでの研究は、サロゲート ネットワークの勾配 ([11] クエリ効率の良いブラック ボックス攻撃に有望な部分空間を利用する。)、以前の反復の勾配、または事前情報として画像内の局所的な相関関係 ([ 17] 前科: 盗賊や前科者によるブラックボックスの敵対的攻撃。) 必要なクエリの数を削減します。しかし、以前の画像を再利用しようとする敵対的な摂動に関する文献はほとんどありません。
これは、前の敵対的摂動を直接適用しても、現在の画像に対して最適化されていないため、ほとんどの場合機能しない可能性があるためと考えられます。前の敵対的な摂動を画像上で効果的に増幅したとしても、摂動と顔の位置が一致していないため、収束速度に影響を与える可能性があります。それにもかかわらず、前の敵対的な摂動が顔と正しく位置合わせされている場合、より良い開始点とより小さな大きさが提供される可能性があります。
上記の 2 つの制限は、単純な解決策で克服するのは困難です。背景ノイズの最適化の場合、決定ベースのブラックボックス設定ではターゲット クラスの勾配を推定することが難しいため、敵対者はターゲットの人物の顔で画像を初期化し、その後摂動ノルムを徐々に減少させる必要があります。ただし、顔のポーズやサイズが異なるため、単純なコピー＆ペーストで顔をターゲットのアイデンティティに置き換えることは困難です。一方、2 番目の制限については、顔マーカーのドロネー三角形分割 [20] () に基づいた従来の顔の変形を摂動に対して位置合わせすることを試みることができますが、顔マーカーが表示されない一部の大きなポーズでは、人間の顔モーフができない場合があります。正しく機能します。
この論文では、3D 顔位置合わせ技術を使用して上記の制限により柔軟に対処し、顔認識に対する効率的なクエリ ブラックボックス攻撃のための一般的な攻撃戦略を提案します。私たちの戦略は、UV テクスチャ マップで敵対的な摂動を作成し、それを画像内の 3D 面に投影することです。図 1 に示すように、敵対的な摂動の生成と調整プロセスをこのように分離することで、以前の敵対的な摂動を効率的に回復できるようになります。さらに、摂動探索空間を顔認識にとって重要な領域に制限することにより、背景ノイズの最適化のための不必要なクエリが削減されます。
図 1: 私たちの手法の図。3D フェイス アライメントを使用した UV テクスチャ マップの敵対的な摂動は、検索空間を狭め、以前の摂動を効果的に利用するのに有益であることがわかりました。モデルが画像を誤分類するまで、前の摂動に 1.05 を繰り返し掛けます。視覚化するために、敵対的摂動に 0.5 を加えて 5 を掛けます。サンプル画像は LFW データセット [15] からのものです。
私たちの主な貢献は次のとおりです。
- 我々は、3D 顔位置合わせを使用した顔認識に対する効率的なクエリ ブラック ボックス攻撃のための一般的な戦略である幾何学的適応辞書攻撃 (GADA) を提案します。この方法では、摂動検索空間が画像の顔領域に制限されるため、クエリ効率が大幅に向上します。
- GADA は、摂動を面に位置合わせできるため、プレーン UV テクスチャ マップで以前に作成された敵対的な摂動を効果的に利用できます。私たちの知る限り、これは、他の画像に対して以前に作成された敵対的な摂動を悪用する、初めてのクエリベースのブラックボックス攻撃です。
- メモリベースのブラックボックス攻撃を評価するために、所定の画像シーケンスに対する標準的な制限された敵対的摂動を見つけるために使用されるクエリの平均数を測定および比較する新しい評価プロトコルも提案します。これは、ブラックボックス攻撃手法がターゲット モデルに対する以前の攻撃経験をどの程度効果的に活用しているかを評価します。
- 我々はステートフル検出を回避するための攻撃戦略を提案する。これは、クエリ画像の知覚的類似性を計算することによってクエリベースのブラックボックス攻撃プロセスを検出する。GADA は、顔領域の摂動を徐々に低減しながら、背景領域にノイズを注入することで類似性に基づく検出器を混乱させる可能性があります。私たちの知る限り、これはこれらの検出技術をバイパスする最初の効果的な方法です。
- LFW[15] および CPLFW[26] データセットの実験を通じて、GADA が EA[9] と SFA ([6] ランダム符号反転による意思決定ベースのブラックボックス敵対的攻撃の強化) の両方で有効であることを証明しました。この攻撃方法圧倒的なパフォーマンスの向上をもたらします。具体的には、LFW データセットに対する攻撃を回避する場合、EA と比較して、クエリ バジェットが 1K の場合、私たちが提案する戦略は摂動ノルムをほぼ半分にします。また、2 × 2100 を超える ℓ2 ノルムの敵対的な摂動を見つけるために必要なクエリの平均数も削減されます。
2. 背景
2.1 顔認識
顔認識は、顔検証と顔認識という 2 つのサブタスクで構成されます。顔認証は、ある候補の顔を別の候補と比較し、2 つの顔画像が同じアイデンティティであることを検証するタスクですが、顔認識は、画像をギャラリーのアイデンティティの 1 つとして分類するタスクです。この記事では顔認証のタスクを扱いますが、ギャラリー内で最も近い顔を見つける問題であるため、この方法は顔認識のタスクにも応用できます。
顔検証では、ニューラル ネットワーク f は入力画像 x を特徴ベクトル f(x) ∈ RD にエンコードします。ここで、D は特徴の次元を示します。画像 x1 と x2 のペアについて、次のように ℓ2 正規形ユークリッド距離 (コサイン距離の代用) を計算できます。
Dist(x1, x2) がしきい値 γ より小さい場合、モデルは 2 つの画像内の人物が同じアイデンティティを表していると認識します。それ以外の場合は、異なるものとみなされます。顔検証モデルのパフォーマンスは、SphereFace [18]、CosFace [18]、および ArcFace [8] からさまざまなコーナーおよびエッジの損失を抽出することによって改善されました。これらの損失の目的は、クラス内の距離を縮めながらクラス間の距離を広げることです。最近、Huang et al. [16] は、損失関数でのカリキュラム学習のアイデアを導入し、簡単なサンプルを最初に処理し、難しいサンプルを後で処理するようにモデルを誘導し、精度をさらに向上させました。
2.2 攻撃設定
次に、顔認証モデルをラップするブラックボックス脅威モデルを構築します。まず、x1をxAと表記し、 x2をxSと表記して、それぞれ攻撃者とサーバーが所有していることを明確にします。ターゲット モデルは、サーバー内のクエリ入力 x Aと x Sを比較することによって顔検証を実行します。xSはブラックボックス脅威モデルであり、攻撃者は xS にアクセスできないため、攻撃者は xA を変更し、クエリを作成してモデルのハードラベル予測を確認することしかできません。上記の設定に基づいて、 x Aに対してハード ラベル h ∈ {1,0} を返すブラック ボックス表面検証モデルを次のように表すことができます。
以下では、表記の便宜上 h の添字を省略します。
敵対者はクリーンなイメージ xA を持っており、ターゲット モデル h をうまく欺きながら、最小限の摂動で敵対的な例を生成したいと考えています。次に、敵対者の目標を次のように表すことができます。
ここで、Q は敵対者のクエリ バジェット、q はδq を生成するために使用されるクエリの数、p≥0です。特に明記しない限り、摂動ノルムのターゲットとして p = 2 (つまり、ℓ2 ノルム) を使用します。この論文では、画像のピクセル値が [0,1] に正規化されていることも仮定します。h(xA) の値 (つまり、画像のペアが最初に同じ ID を表すかどうか) に応じて、その攻撃を別の回避攻撃 (h(xA)=1)またはなりすまし攻撃 (h(xA))と呼びます。=0) 。これら 2 種類の攻撃は初期値と目標が異なり、セクション 3 で詳しく説明します。
2.3 3D 顔の位置合わせ
3D Face Alignment は、画像内の顔の 3 次元形状を認識し、顔ピクセルの意味を見つけるのに役立ちます。3D 顔位置合わせは、顔の正面化 [27] や顔レンダリング攻撃の検出 [22、19] で広く使用されていますが、私たちの知る限り、敵対的攻撃には使用されていません。
学習ベースの 3D 顔位置合わせ方法では、Guo ら ([10] 高速、正確、安定した 3D 密顔位置合わせに向けて。) が 3DDFA_V2 アルゴリズムを提案し、予測精度、速度、安定性の点で優れたパフォーマンスを発揮しました。 。この方法では、光学モデルを通じて 3 次元変形可能モデル (3DMM) [2] のパラメーターを回帰します。[10] で使用される 3DMM は、PCA を使用して 3D 顔を記述します。これは次のように表現できます。
ここで、S は顔モデルの 3D メッシュ、￣S は平均 3D 顔形状、αid と αexp は顔の形状と表情です。パラメータをそれぞれ指定します。3DDFA_V2 モデルは、3DMM の次のパラメーター p = (R, αid, αexp, t2d) を予測します。ここで、R と t2d はそれぞれ回転行列と平行移動ベクトルです。上記の予測パラメータによれば、以下のような三次元顔を再構成することができる。
さらに、再構築された 3D 顔は、Z バッファーによるラスター化を使用して 2D 画像上にレンダリングできます。
レンダリング機能は、画像x上に頂点座標がV3Dである3D三角形メッシュと、頂点色がCVであるzバッファZを表示します。Z には、再構築された 3D 顔の深度が含まれており、遮蔽された領域のレンダリングを回避するのに役立ちます。
3. 方法
全体として、GADA は UV テクスチャ マップに敵対的な摂動を作成し、それを 3D 顔の位置合わせによって取得された 3D 顔に投影します。UV テクスチャ マップは、3D モデルの表面をペイントするために使用される 3D モデルの表面の平面表現です。UV マッピングでの顔のテクスチャを、UV マッピングを通じて 3D 顔モデルの表面に投影できます。同様に、顔の相対座標に従って、3D カバーから顔のテクスチャを UV テクスチャ マップとして抽出することもできます。GADA は顔認識に対するクエリ効率の高いブラックボックス攻撃のための一般的な攻撃戦略であるため、その一般的なスキームを説明しますが、クエリ効率を向上させるためにさまざまな攻撃に適応できます。
3D 顔の位置合わせを初期化します。顔検証では、各画像に顔があると仮定し、3D 顔位置合わせを通じて 3D マスクを見つけることができます。画像内の顔の位置は固定されているため、クエリごとに 3D 顔位置合わせを実行する必要はありません。そのため、GADA は初期段階で 3D 顔位置合わせを 1 回実行して 3D 顔の頂点座標を取得するだけです。また、将来の遮蔽領域のレンダリングを防ぐために、初期段階で Z を計算します。
UVマッピング。UV テクスチャ マップの敵対的摂動には、顔の相対座標に応じたノイズ値が含まれています。UV マッピングを使用すると、敵対的な摂動を 3D 顔に正しく投影でき、CV は3D 顔モデルの頂点の RGB カラー ノイズを保存します。これは、半透明の UV テクスチャ マップを 3D 顔に投影することで機能します。CVの摂動を画像上に投影するには、ラスター化中に 3D 面の中点に対応する頂点カラーを元のピクセル値に追加する、修正された Render 関数を使用します。GADA は UV 空間で敵対的な摂動を検出するため、UV→C V変換も使用する必要があります。この変換では、 UV 座標の双線形補間を使用して UV テクスチャ マップからCVを取得します。
GADA の詳細をレンダリングします。3D メッシュの各三角形面をレンダリングするとき、内部点の色は、距離によって重み付けされた 3 つの頂点の色を組み合わせることによって計算されます。ただし、画像内の点の色は三角形の 3 つの頂点に依存するため、これにより摂動の収束が遅くなります。したがって、各三角形の内部点に対して、三角形の最初の頂点の色を使用します。これにより、特に SFA などの ℓ∞ ノルムベースの攻撃における収束速度が向上します [6]。
UV テクスチャ マップを使用する理由。頂点カラーは、 N V × 3 のCV行列に格納されます。ここで、 N Vは 3DMM の頂点の数です。高密度の 3D 顔モデルを使用しているため、NV は画像の次元よりも大きくなる可能性があります(実験設定では、NVは38,365 で、画像の空間次元は 112×112 = 12,544 です)。敵対的攻撃がCVで最適な敵対的摂動を見つけようとする場合、検索には大量のクエリが必要となるため、このような大きな検索スペースはクエリの効率を低下させます。一方、画像空間で実行される既存のクエリ効率の高い攻撃は、検索空間を縮小するために縮小画像内の摂動を見つける傾向があります。ただし、私たちの場合、画像内のV 3D投影頂点の隣接性は画像ごとに異なるため、従来の画像空間攻撃のようなクエリ空間を縮小する一般的な方法を悪用するのは簡単ではありません。さらに、 CV に摂動が見つかった場合、レンダリング関数は各イメージ ピクセルを頂点にマッピングし、頂点カラーの比較的小さな割合のみがイメージで使用されるため、リサイクルの効率は低下します。検索スペースを効果的に削減し、リサイクルを容易にするために、UV テクスチャ マップ内の乱れを見つけて、それらを C Vに直接変換するのではなく、CVに変換します。で妨害を検索します。UV テクスチャ マップのサイズは画像と同じサイズに設定していますが、これは画像のサイズに関係なく任意に設定できます。
図 2: LFW データセットに対する模擬攻撃の GADA 初期イメージの例 [15]。上段と中段の画像はそれぞれソース画像とターゲット画像です。下の行に示すように、ターゲット画像の顔がソース画像の顔に置き換えられます。ソース画像のテクスチャにさまざまなデータ拡張を適用して、オブジェクトのアイデンティティを予測する可能性を高めます。一番右の画像は例を示しています。
3.1 攻撃の回避
攻撃を回避するために、GADA は、ターゲット モデルの誤分類に対して、UV テクスチャ マップを均一なランダム イメージ (レンダリング時にテクスチャ値を追加するときに元の UV テクスチャを差し引く) に初期化し、そこからの摂動を徐々に低減します。
辞書攻撃。共通の UV 空間で生成された敵対的摂動は、他のイメージを攻撃するときにより良い初期状態を提供できます。私たちは当然、同じアイデンティティのさまざまなポーズにおいて、人に対する摂動が効果的であることを期待できます。さらに、ある個人への気晴らしは、他の似たような見た目の個人よりも効果的である可能性があると推測しています。この動機から、攻撃が完了すると、GADA は最小限の敵対的な摂動と顔の特徴を辞書に保存します。したがって、辞書攻撃を使用する場合は、利用可能な以前の摂動で画像を初期化します。GADA が辞書から以前の敵対的な摂動を抽出するとき、現在の画像に最も近い特徴ベクトルに対応する摂動を取得します。これは、2 つの画像の特徴ベクトルが近ければ近いほど、類似しているためです。摂動を取得した後、ターゲット モデルが画像ペアを誤分類するまで、その摂動に 1.05 を繰り返し乗算します。
3.2 模倣攻撃
意思決定ベースのブラックボックス設定では、なりすまし攻撃はターゲットの ID の画像 (ソース画像) から始まり、ターゲット画像のように見えるように画像を徐々に更新します。ターゲットイメージは xS とは異なるため、攻撃者はxSにアクセスできないことに注意してください。攻撃プロセスは、イメージの初期化が異なることを除いて回避攻撃と似ています。提案された GADA 戦略は顔領域に摂動のみを適用するため、初期画像を生成するには、ターゲット ID のソース画像から UV 顔テクスチャ マップを抽出する必要があります。これを行うために、イメージからCVを抽出し、それを UV テクスチャ マップに変換します。まず、画像座標の双一次補間を使用して画像からCVを取得します。CV をUV テクスチャ マップに変換するには、以下のように render 関数を使用できます。
ここで、V UV はUV 空間の頂点座標です。結果の UV テクスチャ マップを使用して、ターゲット イメージの面をソース イメージの面に置き換えることができます。レンダー関数は対応する生のピクセル値に頂点カラーを追加するため、ソース イメージの UV テクスチャをデスティネーション イメージの UV テクスチャから減算します。図 2 に、シミュレートされた攻撃の初期イメージをいくつか示します。
模倣攻撃では、 (1) 辞書に対象のアイデンティティに対する敵対的摂動がなければ、画像を対象のアイデンティティとして認識させることは不可能である、(2) たとえ辞書にはターゲットのアイデンティティの摂動が含まれています。これは、顔のポーズやスケールの変化、投影の摂動も機能しない可能性があるためです。スコアベースの攻撃では、攻撃者は 2 つの顔の特徴の間の距離を取得でき、攻撃をシミュレートするために辞書を利用する可能性があります。
UV テクスチャ マップのデータ拡張。ソース画像の顔をターゲット画像に投影しても、テクスチャ マッピングのエラーやテクスチャの欠落により、ターゲット モデルがそれをターゲット ロゴとして認識できない場合があります。オブジェクト ロゴとして認識される画像を見つける可能性を高めるために、GADA は、ランダムな水平反転とランダムなカラー ディザリング (明るさ、コントラスト、彩度、色相) を使用して、ソース イメージの UV テクスチャ マップにデータ拡張を適用します。200 回試行してもターゲット ロゴとして認識される画像が見つからなかった場合、その画像に元の画像空間攻撃が適用されます。
4. 実験
4.1 実験のセットアップ
Labeled Faces in the Wild (LFW) [15] および Cross-Pose LFW (CPLFW) [26] データセットでの GADA パフォーマンスの向上を評価します。以下の理由で LFW データセットを使用します: (1) LFW データセットは顔認識の分野で最も代表的なデータセットの 1 つです; (2) CPLFW データセットには LFW データセットよりも多様な顔のポーズの変化があるため、適切にGADA 戦略が一般的にうまく機能していることを示しています。各データセットに 10 分割を使用して、最高の精度で最適なしきい値を見つけ、そのしきい値に基づいて画像を分類します。
回避攻撃用のテスト画像シーケンスを作成するために、各データセットから 500 組の画像をランダムに抽出します。各ペアは ID を表します。なりすまし攻撃のテスト画像シーケンスを合成するとき、すべてのペアが個別のアイデンティティと見なされるように各ペアの左側の画像 (つまり、 x A ) を配置し、それらをなりすまし攻撃のターゲット画像として使用します。一方、元の画像を物体認識のソース画像として使用します。どちらの攻撃でも、各イメージで使用できるクエリの最大数は 10K に設定されています。攻撃のクエリ効率を測定するために、2 種類のメトリクスを使用します：（1）特定のクエリ バジェット内で見つかった敵対的摂動の最小ノルム、（2）以下のノルムを持つ敵対的な例を生成するために使用される最小ノルムクエリの平均数のしきい値に等しい。このメトリクスは、クエリの平均数を比較して、十分に小さい敵対的な摂動を見つけるのに役立ちます。
私たちの実験では、112×112 に位置合わせされた MS-Celeb1M データセット [12] でトレーニングされた ArcFace ResNet-50 [8, 13] モデル 1 をブラック ボックス攻撃のターゲット モデルとして使用します。GADA の辞書攻撃の場合、xAに埋め込まれた特徴量を計算する必要があります。真のブラックボックス設定を想定しているため、対象モデルとは異なるネットワークを使用します。具体的には、VGGFace2 データセット [3] でトレーニングされた FaceNet2 [21] を使用します。GADA での 3D 顔の位置合わせには、著者が提供する事前トレーニング済みの 3DDFA_V2 モデルを使用しました。
この方法は、既存のさまざまなクエリベースのブラックボックス攻撃に適用して、クエリの効率を向上させることができます。この論文では、EA [9] と SFA [6] という 2 つの異なる意思決定ベースの攻撃に GADA を適用し、それらのパフォーマンスの向上を実証します。
シンボル。実験では、攻撃方法の追加機能に応じて、さまざまな攻撃方法のバリエーションを使用しました。それらを参照するために、ジオメトリ適応攻撃を使用する場合は攻撃名に「G」を追加し、辞書攻撃を使用する場合は「D」を追加します。たとえば、EAGD は、提案された幾何適応攻撃と辞書攻撃を備えた EA 攻撃 [9] の改良版です。
4.2 定量的結果
EA バリアントのクエリ効率を評価しました。包括的な比較のために、他の最先端の意思決定ベースの攻撃手法である HSJA ([4] クエリ効率の高い意思決定ベースの攻撃。) と Sign-OPT ([7] Sign-opt: A) も評価します。クエリ効率の高いハードラベルの敵対的攻撃。)。GADA は上記 2 つの攻撃にも適用できますが、実験では EA のクエリ効率が最も優れているため、EA に GADA を適用します。各攻撃方法のハイパーパラメータ設定については補足資料で説明します。EAD および EAGD では、進化的アルゴリズムがピクセル値の範囲の境界でスタックするのを防ぐために、前の摂動を使用するときに摂動領域の画像を 0.2 ～ 0.8 の範囲にクリップします。
表 1 は、2 つのデータセットに対する意思決定ベースの敵対的攻撃の評価結果を示しています。すべての方法で、UV 空間ではなく画像空間で摂動ノルムを測定することに注意してください。LFW データセットに対する攻撃を回避するために、EAGD は EA と比較して最小摂動ノルムを 1.03 削減します。EAGD の結果は、辞書を使用して以前の摂動を利用することがクエリ効率の向上に役立つことを明確に示しています。さらに、EA と比較して、EAGD は、ノルム ≤ 2 の敵対的摂動を見つけるのに必要なクエリの数を、回避攻撃の場合は 2170 件、シミュレートされた攻撃の場合は 1046 件削減します。このクエリ効率により、攻撃者は多くのリソースを節約できます。補足資料では摂動ノルム曲線をプロットし、各メソッドのクエリ効率を視覚的に示しています。
表 1: 2 つのデータセットに対する意思決定ベースの敵対的攻撃の評価。
4.3 定性的結果
図 3 は、EA とその亜種による敵対的な例を示しています。EAG は顔領域に摂動のみを生成するため、EA とは異なり、背景ノイズは存在しません。GADA は探索空間を縮小するため、Q=3K の場合、摂動は EA に比べて大幅に減少することがわかります。EAGD の辞書攻撃は小さな摂動から開始するのに役立ち、Q=1K の場合、EAGD は EAG と比較して摂動ノルムを 0.37 倍に低減することが示されています。
シミュレートされた攻撃の場合、既存の手法はターゲット ID のソース イメージから開始し、ターゲット イメージのように見えるように敵対的な例を繰り返し更新します。ただし、図 3 に示すように、ターゲット画像の背景が平坦な場合、敵対的な摂動はより明白になります。対照的に、GADA は最初にターゲット イメージの顔をソース イメージの顔に置き換え、顔領域の摂動を最適化するため、クエリ バジェットがわずか 2K の場合、ノイズは知覚できなくなります。他の攻撃とのより定性的な比較のために、補足資料にさらに多くの結果例が含まれています。また、より深いオブジェクト モデル カリキュラム Face ResNet-100 [16, 13] を使用して上記の実験を実行しました。実験結果は補足資料に記載されています。
図 3: LFW データセットに対する回避とシミュレートされた攻撃の定性的結果 [15]。各攻撃について、各クエリ バジェットで最小限の標準的な敵対的な例を示します。摂動ノルム ℓ2 を各画像の下に示します。
4.4 ℓ∞パラダイムに基づく攻撃への適応
GADA はさまざまなクエリベースのブラックボックス攻撃に適用できる一般的な戦略であるため、特に ℓ∞ ノルム制約に有効な SFA [6] に適用します。図 4 は、LFW データセットに対する攻撃を回避する場合の SFA とその亜種の結果を示しています。SFAGD は、SFA よりも速く摂動ノルムを大幅に低減します。Q=10K の場合、SFAD と SFAGD の ℓ∞ ノルムの差は小さいですが、SFAGD は顔領域のみを摂動させるため、SFAGD は ℓ2 ノルムのほぼ半分になります。
図 4: LFW データセットに対する攻撃を回避するための SFA とそのバリアントの摂動ノルム曲線。実線は摂動の l∞ ノルムを表し、破線は摂動の l2 ノルムを表します。
4.5 摂動を取得するさまざまな方法
GADA は、将来の初期化を改善するために、最初に複数のアイデンティティの敵対的摂動を辞書に保存して、特徴空間内のアイデンティティに最も近い摂動を取得します。アブレーション研究では、このスタイルの把握の有効性がわかりました。EAGD1 と EAGDR という 2 つの異なる収集モードを評価しました。EAGD1 にはメモリ スロットが 1 つだけある辞書があり、攻撃ごとに摂動を取得して更新できます。EAGDR は、EAGD と同様に多くのアイデンティティの敵対的摂動を保存しますが、同じ顔の特徴が辞書に存在しない限り、辞書内の摂動をランダムに取得します。図 5 は、EAGD の結果と上記のバリエーションを示しています。結果は、初期段階では EAGD が他のバリアントよりも実際にクエリ効率が高いことを示しています。最も近い上位 k 個の摂動を取得し、それらを大きな数で乗算し、スケールダウンして最小の敵対的な摂動を見つけることができます。辞書内でより有用な摂動を見つける効率的な方法を設計することは、将来的には興味深い研究テーマとなる可能性があります。
図 5: 摂動を取得するさまざまな方法の摂動ノルム曲線。
4.6 回避状態の検出
クエリベースのブラックボックス攻撃では、必然的に、プロセス内のクエリに対して知覚的に類似した画像を大量に送信する必要があります。この共通性を目指して、メモリベースの検出技術が最近提案されました [5]。最近のクエリの知覚的に類似したエンベディングを保存し、類似したエンベディングが多すぎる場合に敵対的な生成例を検出します。このアルゴリズムは、類似性エンコーダーを利用して各画像を特徴としてエンコードし、メモリに保存します。現在の画像埋め込みの k 最近傍 (k-NN) 距離がしきい値未満の場合、検出器はクエリを敵対的攻撃と判断します。既存の意思決定ベースのブラックボックス攻撃は、その性質上、このような検出技術を回避することはほぼ不可能です。
これらの困難にもかかわらず、私たちは前景と背景に異なるノイズを注入することでそのような検出を回避する新しい攻撃戦略を提案します。具体的には、前景の摂動を最適化しながら背景に小さなランダム ノイズを継続的に追加することで、類似性検出器に摂動を与えます。これを行うための基本的な前提は、バックグラウンド ノイズがターゲット モデルの予測に影響を与えてはならないということです。ほとんどの顔認識モデルは顔の内部部分に焦点を当てているため、この前提が一般的なケースに当てはまると想定します。
Chen et al. [5] は知覚的類似性エンコーダーを使用しているため、実験設定でこの方法を評価するには、より大きなサイズの画像に対して新しい類似性エンコーダーを使用する必要があります。代わりに、一般的な知覚的類似性を測定する類似性エンコーダーとして学習知覚画像パッチ類似性 (LPIPS) [25] を使用します。LPIPS v0.1 の場合、k-nn 距離に k=50、検出しきい値に 2e-3 を使用して事前トレーニングされた SqueezeNet モデルを使用します。メモリとして、最新の 100 個のクエリを含む循環バッファを使用します。検出は、バッファーに k − 1 個を超えるクエリが保存されている場合にのみ機能します。[5] に従って、敵対的攻撃が検出されるたびにバッファをフラッシュします。LFW データセットのテスト シーケンスの最初の 100 枚の画像に対する回避攻撃を評価します。画像あたりの平均検出数は、SO、HSJA、EA、EAG でそれぞれ 166、191、188、192 です。合計クエリ バジェット 10K を k(50) で割った値が 200 であることを考慮すると、上記の結果は、ほとんどの攻撃は検出器の実行開始時に直ちに検出されることを示しています。
新しい攻撃戦略の検出結果を説明する前に、攻撃戦略について詳しく説明します。ランダムなガウス ノイズを背景に追加します (σ = 0.01 を画像内の背景面積比で割ったもの)。背景領域が比較的小さい場合、これにより大量のノイズが生成されます。検出を避けるために、画像全体に σ = 0.02 のランダムなガウス ノイズも適用しました。これら 2 つの亜種をそれぞれ EAGR および EAR と名付けました。バックグラウンドの割合は平均して 30% 未満であるため、ほとんどの場合 EAR に小さな σ を使用することに注意してください。どちらの方法でも、i 回の反復ごとにバックグラウンド ノイズのないクエリを実行し、バックグラウンド ノイズを除外して摂動ノルムを削減します。実験では i = 20 を使用しますが、i は検出器のバッファ サイズに比例して設定する必要があります。他の攻撃と同じ実験設定では、どちらの方法も 100 枚のテスト画像では検出されません。一方、クエリ バジェットが 10K の場合、EAR と Eager の平均最小摂動ノルムはそれぞれ 11.69 と 3.47 です。これは、EAR とは異なり、eagar は検出を回避しながら摂動ノルムをうまく低減できることを意味します。図 6 は、テスト画像の k-NN 距離と摂動ノルム曲線です。
図 6: EA とそのバリアントの摂動ノルムと k-NN 距離曲線。k-NN 距離がしきい値を下回る場合、クエリは敵対的攻撃として検出されます。
5. 関連作品
以下では、関連する研究とそれが私たちの戦略とどのように異なるのかについて簡単に説明します。Daboueiらは、顔のランドマークを含む画像の空間変換を利用して、顔認識モデルをだます。ホワイトボックス脅威モデル内の顔のランドマークの位置を置き換えることにより、敵対的な例を作成します。これは、顔のジオメトリに基づいて摂動を作成するため、私たちの戦略に共通していますが、GADA は UV マップの摂動を発見できる強度ベースのクエリ効率の高いブラック ボックス攻撃戦略であるため、GADA はまったく異なります。一方で、3D モデルを 2D 空間にレンダリングして敵対的な形状やテクスチャを検出する、3D モデルベースの敵対的攻撃がいくつか存在します [1、23、24]。ただし、彼らの目標はクエリ効率の高いブラックボックス攻撃ではなく、さまざまな観点に基づいた堅牢な攻撃です。
6. まとめ
この論文では、顔認識に対するクエリ効率の高いブラックボックス攻撃のための一般的な戦略を提案します。通常の UV テクスチャ マップに敵対的な摂動を作成し、3D 顔の位置合わせを介して顔の領域に投影します。また、顔領域を背景から分離することで、予測にほとんど影響を与えないノイズを背景に注入することで、状態検出を回避できる可能性があることも提案します。この論文では、以前に発見された摂動を効果的に利用できる、メモリベースのブラックボックス攻撃のための新しい研究の道を開きます。他の研究者との有益な探索のために、GADA のコードとテスト画像シーケンスのインデックスを公開します。私たちの研究の一般化された中心的なアイデアは、摂動検索空間を関心のある領域に制限し、以前に発見された摂動をオブジェクトを意識した意味論的な対応で復元することです。この論文では顔認識を扱っていますが、上記のアイデアは他のタスクにも効果的に応用できます。将来の作業のためにそれらを残しておきます。