目次
まとめ
グラフ異常検出 (GAD) は、グラフベースの機械学習における重要なタスクであり、多くの実際のアプリケーションで広く使用されています。GAD の主な目的は、大部分のノードから大きく逸脱したグラフ データセットから異常なノードをキャプチャすることです。
最近の方法は、GAD のさまざまなスケール比較戦略、つまりノードとサブグラフの比較およびノードとノードの比較に焦点を当てています。ただし、これらの方法では、部分グラフと部分グラフのコントラスト情報が無視されます。つまり、正常な部分グラフのペアと異常な部分グラフのペアは、GAD の埋め込みと構造の点で異なる動作をし、その結果、タスクのパフォーマンスが最適化されません。
この論文では、上記のアイデアを実装するために、サブ画像-サブ画像コントラストを備えた多視点マルチスケールコントラスト学習フレームワークを初めて提案します。具体的には、元の入力グラフを最初のビューとして扱い、エッジの変更を通じて 2 番目のビューを生成します。提案されたサブグラフ対サブグラフの比較は、サブグラフのペアの類似性を最大化することによって導かれ、構造の変化にもかかわらずサブグラフ埋め込みの堅牢性を向上させるのに役立ちます。
さらに、導入されたサブグラフとサブグラフの比較、広く使用されているノードとサブグラフの比較およびノードとノードの比較は、相互にうまく連携して GAD のパフォーマンスを向上させることができます。
さらに、さまざまなグラフ強調方法が検出パフォーマンスに与える影響を研究するために十分な実験を実施します。包括的な実験結果は、最先端の方法と比較した私たちの方法の優位性、および GAD タスクにおけるマルチビューのサブグラフ ペア比較戦略の有効性をよく示しています。ソースコードはhttps://github.com/FelixDJC/GRADATEで公開されています。
導入
グラフベースの機械学習は、ここ数年で大きな注目を集めています (Wu et al. 2020; Liu et al. 2022c)。グラフ学習の代表的なタスクとして、グラフ異常検出 (Graph Anomaly Detection) は、ほとんどのノードから異常を検出することを目的としており、研究者がますます注目しているアプリケーションとなっています (Ma et al., 2021)。GAD は、有害なイベントの防止における重要な価値により、誤った情報の検出 (Wu et al., 2019)、金融詐欺の検出 (Huang et al., 2018)、ネットワーク侵入の検出 (Garcia - Teodoro et al.、2009）など。
他の異常検出分野のデータ (Cheng et al. 2021a,b; Hu et al. 2022) とは異なり、グラフ データにはノードの特徴とグラフ構造が含まれます。これら 2 種類の情報間の不一致により、特徴異常と構造異常という 2 つの典型的な異常ノードが生成されます (Liu et al., 2021)。前者は、隣接するノードとは特性が異なるノードを指し、後者は、似ていないが密接に接続されたノードのグループを指します。
これら 2 種類の異常を検出するために、これまでの多くの方法で多大な努力が払われ、素晴らしい結果が得られました。LOF (Breunig et al.、2000) は、ノードの特性をそのコンテキスト ノードと比較することによって、ノードに関する異常情報を取得します。SCAN (Xu et al., 2007) は、ネットワーク構造を通じて GAD タスクを完了します。これら 2 種類の情報を活用することで、ANOMALOUS (Peng et al., 2018) は、CUR 分解と残差分析に基づいて異常を検出します。(Muller et al. 2013; Perozzi et al. 2014) 特徴部分空間の選択を実行し、部分空間内の異常なノードを発見します。上記の方法は特定のドメインの知識に依存しているため、グラフ データセット内の深い非線形情報をマイニングすることはできません。このため、検出パフォーマンスをさらに向上させることが困難になります。
グラフ情報を取得する強力な機能の恩恵を受けて、グラフ畳み込みネットワーク (GCN) (Kipf および Welling、2017) は最近、多くのグラフ データ タスクで優れたパフォーマンスを達成しました。当然、グラフの異常を検出するために適用されます。独創的な研究である DOMINANT (Ding et al., 2019) では、このタスクを達成するために GCN が初めて導入されました。具体的には、DOMINANT は、再構成された特徴行列と隣接行列を元の入力行列と比較します。変化が大きいノードは外れ値になる可能性が高くなります。このメソッドはパフォーマンスが良く、実装も簡単ですが、一部の例外情報は無視されます。GCN は近隣情報を集約することでノード表現を生成します。これにより、異常情報の区別がより困難になります (Tang et al., 2022)。CoLA (Liu et al., 2021) は、対照学習パラダイムに基づいて、ノードとその近隣ノードとの間の関係を計算することで異常を検出します。この方法では、ノードの周囲の局所的な特徴と構造情報がマイニングされます。同時に、ターゲット ノードの特性をマスクするため、表現平均化の影響が軽減されます。これとは異なり、ANEMONE (Jin et al., 2021a) は、ノードレベルの異常情報に焦点を当て、比較ネットワークにノード間の比較を追加します。
しかし、既存の研究はサブグラフ情報のさらなる利用を無視しており、グラフ異常検出のための埋め込みを直接最適化していません。(Jiao et al., 2020; Hafdi et al., 2022; Han et al., 2022) は、サブグラフ表現学習がグラフベースの機械学習タスクに利益をもたらすことを実証しました。これにより、局所的な特徴や個々のサブグラフの構造情報のマイニングが大幅に容易になります。GAD の場合、より代表的で固有のサブグラフ埋め込みは、ノードとその隣接ノード間のより信頼性の高い関係を計算するのに役立ちます。これは、比較戦略の重要なステップです。
この問題を解決するために、我々は、新たに追加されたサブグラフ間コントラストと拡張ビュー（GRADATEと呼ばれる）を備えたマルチスケール対比学習ネットワークによる新しいグラフ異常検出フレームワークを提案します。具体的には、元の入力グラフを最初のビューとして扱い、グラフ拡張手法としてエッジ変更を使用して 2 番目のビューを生成します。各ビューでは、サブグラフがランダム ウォークによってサンプリングされます。次に、ノードとサブグラフ、ノードとノード、およびサブグラフとサブグラフの比較を行うマルチビュー比較ネットワークを構築します。最初の 2 つのコントラストは、各ビューからサブグラフ レベルとノード レベルの例外情報を取得します。サブイメージ - サブイメージのコントラストは 2 つのビュー間で定義され、検出のためにより多くの局所的な異常情報をマイニングします。このようにして、ノードとサブグラフのコントラストが大幅に強化されます。その後、さまざまな異常情報を組み合わせて、各ノードの異常スコアを計算します。最後に、GAD でのサブグラフ表現の学習に対するさまざまなグラフ拡張の影響を調査し、分析します。私たちの主な貢献は次のとおりです。
最初の実践では GAD による部分グラフと部分グラフの対比を導入し、強化されたビューを備えたマルチスケール対比学習ネットワーク フレームワークを提案します。
私たちは、タスクのサブグラフ表現学習に対するさまざまなグラフ拡張の影響を研究します。
6 つのベンチマーク データセットに対する広範な実験により、グラフ異常検出におけるエッジ修正ベースのサブグラフ間比較戦略の有効性と、最先端の手法と比較した GRADATE の優位性が実証されました。
グラフの異常検出に関する初期の取り組み
(Li et al. 2017; Perozzi and Akoglu 2016; Peng et al. 2018) ノードの特徴やネットワーク構造から異常情報を検出するには、通常、非ディープパラダイムが採用されます。ただし、より深い情報を掘り下げなければ、パフォーマンスを継続的に向上させることはできません。近年、ニューラル ネットワークの台頭により (Tu et al. 2021, 2022; Liang et al. 2022; Liu et al. 2022c)、深い非線形情報をマイニングするモデルの能力が強化されました。再構成ベースの手法 DOMINANT (Ding et al. 2019) は、GCN 後の特徴行列と構造行列の変化を計算することでノード異常スコアを取得します。AAGNN (Zhou et al. 2021) は、グラフ異常検出に 1 クラスの SVM を適用しています。HCM (Huang et al. 2021) は、ノードとその 1 次隣接ノードのホップ数推定値を異常スコアとして考慮します。CoLA (Liu et al. 2021) は、グラフ内のノードの異常を検出するために、まず対照学習パラダイム (Yang et al. 2022b,a) を導入しました。その後の方法 (Jin et al. 2021a; Zheng et al. 2021; Zhang, Wang, and Chen 2022; Duan et al. 2022) は、CoLA に基づいてさらなる改良を加えました。
グラフの比較学習
対照学習は、教師なし学習における最も重要なパラダイムの 1 つです。グラフ対照学習は、高価なラベルを使用せずに下流タスクの監視情報をマイニングし、大きな成功を収めます (Liu et al. 2022a)。
ネガティブ サンプルの使用戦略によれば、既存の作品は、ネガティブ サンプルに基づいて、またはネガティブ サンプルなしで 2 つのサブカテゴリに分類できます。最初のタイプでは、DGI (Velickovic et al. 2019) はノードとグラフ間の相互情報を最大化し、有用な監視情報を取得します。SUBG-CON (Jiao et al. 2020) と GraphCL (Hafdi et al. 2022) は、より良いノード表現を学習するためにノードのサブグラフ比較を形成します。2 番目のタイプでは、BGRL (Thhakoor et al. 2021) はシャム ネットワークを適用して両方のビューから豊富な情報を取得します。(Liu et al. 2022b,d,e) は、表現の崩壊を避けるために特別な損失関数を設計する Barlow Twins (Zbontar et al. 2021) を利用しています。
グラフの拡張
グラフの拡張により、グラフ データセットに合理的な変化が生じます (Ding et al. 2022)。これにより、高価なラベルを必要とせずにデータセットが拡張され、モデルの汎化能力が向上します (Zhao et al. 2022)。ほとんどのメソッドは、グラフ内のノードまたはエッジの操作に焦点を当てています。(Wang et al. 2021; Feng et al. 2020; You et al. 2020) ノード機能の変更に注意してください。RoSA (Zhu et al. 2022) は、ノードの堅牢な表現を学習するためのグラフ拡張として再起動を伴うランダム ウォークを使用します。(Klicpera、Weißenberger、および Gunnemann 2019; Zhao et al. 2021) エッジを追加または削除して隣接行列を調整します。
問題の定義
次のセクションでは、グラフの異常検出のタスクを形式化します。特定の無向グラフの場合、G=(V,E)
方法
このセクションでは、提案されるフレームワーク GRADATE を紹介します。これは 2 つの主要モジュールで構成されます。
グラフ拡張モジュールでは、元のグラフを最初のビューとして扱い、エッジの変更を通じて 2 番目のビューを生成します。
グラフ比較ネットワーク モジュールでは、まずノードとサブグラフの特徴比較から異常情報を取得し、それをノードとサブグラフの比較として扱います。
ビューごとに、サブグラフがランダム ウォークによってサンプリングされ、ターゲット ノードとペアになります。次に、ノード間比較を構築して、ノードレベルの異常を捕捉します。
新しく追加されたサブグラフとサブグラフの比較は、2 つのビュー間の GAD のサブグラフ埋め込みを直接最適化します。
その過程で、ノードとサブグラフの比較のパフォーマンスが向上します。
その後、アンサンブル損失関数を使用して、これら 3 つの比較をトレーニングします。最後に、さまざまな異常情報を統合し、各ノードの異常スコアを計算します。
グラフの拡張
グラフ拡張は自己教師あり学習パラダイムにとって重要です。これは、モデルがグラフのより深い意味情報をマイニングするのに役立ちます。この記事では、エッジの変更を利用して 2 番目のビューを作成します。次に、ランダム ウォークによってサブグラフをサンプリングします。ノードとサブグラフは、グラフ比較ネットワークへの入力を形成します。
エッジの修正。
エッジ修正 (EM) は、グラフのエッジを摂動させることによって 2 番目のビューを構築します。(Jin et al. 2021b) にヒントを得て、隣接行列のエッジを削除するだけでなく、同じ数のエッジを同時に追加します。実際には、まず固定比率 P を設定して、隣接行列から PM/2 エッジを均一かつランダムに削除します。次に、PM/2 エッジがマトリックスに均一かつランダムに追加されます。このようにして、グラフのプロパティを破壊することなく、部分グラフの堅牢な表現を学習しようとします。2 番目のビューを生成するために使用されるグラフ拡張方法については、アブレーション研究セクションでさらに説明します。
ランダムウォーク。
ターゲット ノードの場合、効果的な異常検出方法は、そのノードとその近隣ノードとの間の特徴的な距離を測定することです (Liu et al. 2021)。したがって、再起動ランダム ウォーク (RWR) (Qiu et al. 2020) を使用して、ノードの周囲のサブグラフをサンプリングします。特徴類似度が低いほど、対象ノードの異常度が高くなります。
グラフの対照ネットワーク
対照学習パラダイムは GAD に効果的であることが示されています (Liu et al. 2021)。ノードとサブグラフの比較、ノードとノードの比較、サブグラフとサブグラフの比較の 3 つの部分からなるマルチビュー グラフ比較ネットワークを構築します。最初の 2 つのコントラストは各ビューで定義され、両方のビューからの情報を融合することで強調されます。ノードのサブグラフの比較は、主にノード近傍の異常情報を取得するために使用されます。2 番目の比較により、ノードレベルの異常な嘘をより適切に検出できるようになります。同時に、部分図と部分図のコントラストが 2 つのビュー間で機能します。これは GAD のサブグラフ埋め込みを直接最適化し、ノードとサブグラフの比較に大きなメリットをもたらします。
ノードのサブグラフの比較。ターゲット ノード vi は、それが位置するサブグラフと正のペアを形成し、別のノード vj が位置するランダム サブグラフと負のペアを形成します。まず、GCN 層を採用して、サブグラフ内のノードの特徴を埋め込み空間にマッピングします。サブグラフ内のターゲット ノードの特性がマスクされている、つまり 0 に設定されていることに注意してください。サブグラフの隠れ層表現は次のように定義できます。
次に、サブグラフの最終表現 zi が Readout 関数によって計算されます。具体的には、average 関数を使用して Readout を実装します。
同様に、MLP を利用して、ターゲット ノードの特徴をサブグラフと同じ埋め込み空間に変換します。ノードの隠れ層は次のように表現されます。
各ビューにおいて、対象ノードの異常度は部分グラフの類似度とノードの埋め込みに関係します。この関係を測定するために双線形モデルを採用します。
一般に、ターゲット ノードとサブグラフの表現は、正のペア、つまり = 1 で類似する傾向があります 。したがって、コントラストをトレーニングするためにバイナリクロスエントロピー (BCE) 損失 (Velickovic et al., 2019) を採用します。
ここで、yi は正のペアでは 1、負のペアでは 0 に等しくなります。
別のビューから類似度と BCE 損失を取得することもできます
。2 つのビュー内の 2 つのネットワークは同じアーキテクチャを使用し、パラメータを共有していることに注意してください。したがって、最終ノードのサブグラフのコントラスト損失は、
このうち、α∈(0,1) は 2 つの vi 間の重要性のバランスをとるために使用されるトレードオフ パラメーターです。
ノード間の比較。ノード間の比較により、ノードレベルの異常を効果的に検出できます。同様に、ターゲット ノードのフィーチャはマスクされます。そして、その表現はサブグラフ内の他のノードから集約されます。各ビューでは、MLP 後は同じノードとポジティブ ペアを形成し、MLP 後は別のノードとネガティブ ペアを形成します。新しい GCN を利用して部分グラフの表現を取得します。
同時に、MLP を使用してノードの特徴を同じ潜在空間にマッピングします。
ノードとサブグラフの比較と同様に、双線形モデルを採用して ui と e^i の関係を評価します。次に、ノード間比較損失関数は次のように定義できます。
同様に、別のビューの類似性と損失 L 2 NN も計算できます。したがって、最終的なノード間のコントラスト損失関数は、
このうち、ビューバランスパラメータαは、ノードサブグラフのコントラスト損失と共通である。
サブフィギュアとサブフィギュアの比較。サブフィギュア - サブフィギュア比較は 2 つのビュー間で定義されます。その目的は、GAD のより代表的で固有のサブグラフ埋め込みを学習し、それによってノードとその隣接ノード間の関係を識別するためのノードとサブグラフの比較を支援することです。実際には、ノードとサブグラフのコントラストの結合損失の下でサブグラフ表現を直接最適化します。
サブグラフは摂動サブグラフと直接のペアを形成し、同じターゲット ノード vi が他のビューに配置されます。一般的なグラフ比較方法 (You et al. 2020) とは異なり、2 つのビューに配置された別のノード vj を持つ 2 つのサブグラフで負のペアを形成します。ノードvjは、ノード部分グラフ比較においてviと負のペアを形成する部分グラフと同じである。(Oord、Li、および Vinyals 2018) に触発されて、最適化するために損失関数を採用します。
損失関数。3 つの比較の利点を組み合わせるために、結合損失関数を最適化します。
異常スコアの計算。ノードとサブグラフおよびノードとノードの対比では、通常のノードは、その正のペアのサブグラフまたはノードに似ていますが、その負のペアのサブグラフまたはノードとは似ていません。対照的に、外れ値ノードは、正または負のペアのノードまたはサブグラフに似ています。もちろん、ターゲット ノードの異常スコアを次のように定義します。
次に、2 つのビューと 3 つの比較からの異常情報を包括的に融合します。異常スコアはさらに次のように表すことができます。
1 つのランダム ウォークのみを使用した 1 つの検出では、十分な意味情報を取得できません。各ノードの異常スコアを計算するには、複数回の検出が重要です。(Jin et al. 2021a) にヒントを得て、複数回の検出結果の平均と標準偏差を通じて最終的な異常スコアを計算します。
ここで、R は異常検出ラウンドの数です。一般に、GRADATE の全体的なプロセスはアルゴリズム 1 に示されています。
実験
GRADARE の優れたパフォーマンスを検証するために、6 つのグラフ ベンチマーク データセットに対して広範な実験を実施しました。この結果は、GAD に対するサブイメージ比較とエッジ修正の有効性も確認しています。
実験設定
実験設定の詳細は以下のとおりです。 (1) データセット。提案手法は 6 つのベンチマーク データセットで評価され、詳細は表 2 に示されています。
データセットには、Citation (Yuan et al. 2021)、Cora (Sen et al. 2008)、WebKB (Craven et al. 1998)、UAI2010 (Wang et al. 2018)、UAT および EAT (Mrabah et al. 2022) が含まれます。
(2) 例外注入。DOMINANT の後、以前は異常なノードがなかった元のデータセットに、同じ数のフィーチャと構造異常を注入します。各データセットの異常の総数は、表 2 の最後の列に示されています。
(3) ベースライン。GAD タスクでは、8 つのよく知られたベースライン手法と比較します。表 3 の最初の列はそれらを要約しています。最初の 2 つのモデルは非ディープ アルゴリズムで、残りのモデルはグラフ ニューラル ネットワークに基づいています。CoLA の後、ANOMALOUS を実行する前に、PCA によってすべてのデータセットのノード フィーチャが 30 に削減されました。
(4) メートル法。上記の方法を評価するために、広く使用されている異常検出メトリック AUC を採用します。
モデルパラメータ
ノードとサブグラフの比較およびサブグラフとサブグラフの比較では、どちらの GCN モデルも 1 つの層を持ち、活性化関数として ReLU を使用します。ネットワーク内のサブグラフのサイズは 4 に設定されます。ノードとサブグラフの両方の特徴が、隠れ空間の 64 次元にマッピングされます。さらに、400 ラウンドのモデル トレーニングと 256 ラウンドの異常スコア計算を実行しました。
結果と分析
このサブセクションでは、8 つのベースライン手法と比較することにより、GRADATE の異常検出パフォーマンスを評価します。図 2 に、9 つのモデルの ROC 曲線を示します。同時に、図2に対応するAUC値の比較結果を表3に示します。結果に関しては、次のような結論が得られます。
(図 2: 6 つのベンチマーク データ セットの ROC 曲線。曲線の下の面積が大きいほど、異常検出パフォーマンスが向上します。黒い点線は「ランダム ライン」であり、ランダムな推測のもとでのパフォーマンスを示します)
これら 6 つのデータセットに関して GRADATE が競合他社よりも優れていることが直感的にわかります。具体的には、GRADATE は、EAT、WebKB、UAT、Cora、UAI2010、および Citation で、それぞれ 2.54%、0.62%、3.64%、0.45%、5.31%、0.43% という AUC の大幅な増加を達成しました。図 2 に示すように、GRADATE の曲線下面積は競合他社の曲線下面積よりも大幅に大きくなっています。
ほとんどのニューラル ネットワーク ベースの手法は、浅い手法 (LOF および ANOMALOUS) よりも優れていることが観察されています。浅いメソッドには、グラフ データの高次元の特徴を処理する際に固有の制限があります。
深層メソッドの中でも、対照学習、CoLA、ANEMONE、SL-GAD、Sub-CR、および GRADATE に基づくメソッドがより効果的です。これは、対照的な学習ベースのパターンがグラフの特徴と構造情報をマイニングすることによって異常を効果的に検出できることを示しています。GRADATE は、新しく追加されたサブグラフ間比較とマルチビュー学習戦略により最高のパフォーマンスを実現します。
アブレーション研究
あらゆる規模での比較戦略。提案されたサブグラフとサブグラフの比較の有効性を検証するために、アブレーションスタディ実験を実施します。便宜上、NS、NS+SS、NS+NN、NS+NN+SS は、ノードとサブグラフの比較のみを使用する (CoLA)、ノードとサブグラフとサブグラフとサブグラフの比較を使用する、ノードとサブグラフとノード - ノード比較を使用する (ANEMONE) ことを意味します。 )、上記の 3 つの比較 (GRADATE) をそれぞれ使用します。表 4 に示すように、サブグラフ間のコントラストを追加すると、ノードとサブグラフのコントラストが向上するため、検出パフォーマンスが向上します。3 つのコントラストをすべて使用すると、最高のパフォーマンスが得られます。
グラフの強化戦略。一方、4 つの異なるグラフ拡張機能を採用して 2 番目のビューを形成し、それらがパフォーマンスに与える影響を調査します。ガウス ノイズ フィーチャ (GNF) は、ガウス ノイズによってランダムに摂動されるノード フィーチャを指します。フィーチャー マスキング (FM) は、ノード フィーチャーのランダムな部分がマスクされることを意味します。グラフ拡散 (GD) は、拡散モデルによって生成されたグラフ拡散行列を利用します (Hassani and Khasahmadi 2020; Klicpera、Weißenberger、および Gunnemann 2019)。¡ GNF と FM はノード特性の摂動です。GD およびエッジ修正 (EM) は、広く使用されているエッジ グラフ強調方法です。表 5 に示すように、EM はすべてのデータセットで最高のパフォーマンスを実現します。さらに分析すると、ノード特性の摂動により、通常のノードの特性が破壊される可能性があります。これにより、GAD 対比学習の基礎であるノードとその近隣ノードとの比較が損なわれます。これにより、一部の正常なノードが異常として誤って分類され、パフォーマンスの低下が発生する可能性があります。さらに、GD は構造ベースのグラフ拡張手法です。ただし、その主な目的はグローバル情報を取得することです。したがって、EM は GD よりもサブグラフ間の比較との互換性が高く、ノードのローカル近傍情報をマイニングするためにノードとサブグラフの比較を改善できます。
感度分析
平衡パラメータ α、β、γ。損失関数の 3 つの重要なバランス パラメーターについて説明します。図 3 に示すように、ハイパーパラメータ α と β は、EAT と UAI2010 の検出パフォーマンスを効果的に向上させます。同様の現象が他のデータセットでも観察されます。実際、EAT、WebKB、UAT、Cora、UAI2010、Citation では α を 0.9、0.1、0.7、0.9、0.7、0.5 に設定しました。一方、β を 0.3、0.7、0.1、0.3、0.5、0.5 に設定しました。
図 4 は、γ が 0.1 から 0.9 に変化したときの GRADATE のパフォーマンスの変化を示しています。図から、すべてのベンチマークにわたって γ を 0.1 に設定すると、GRADATE が良好なパフォーマンスを発揮する傾向があることがわかります。
エッジ修正率 P. また、さまざまなパラメーター化されたエッジ変更の影響も研究します。図 5 は、UAT、UAI2010、および Citation では、比率 P の変更により検出パフォーマンスの変動が比較的小さいことを示しています。まとめると、すべてのデータセットで P = 0.2 に固定しました。
