機能:ノード分類とグラフ分類
空間ドメイン:空間内のグラフ構造、つまり対象ノードと他のノードとの幾何学的関係 (接続の有無) を考慮したモデル。
モデル代表：GAT（Graph Attention Networks）グラフアテンションモデル
注意メカニズムを使用して、隣接ノードの特徴の加重合計が実行されます。隣接するノードの特徴の重みは、グラフ構造とは関係なく、完全にノードの特徴に依存します。
(プーリングは特別な加重平均と考えてください。または、アテンション メカニズムは、入力分布を優先する一般的なプーリング方法です (パラメーターを使用したプーリング方法卷积神经网络注意力机制)。
図1：グラフアテンションネットワークと更新式の模式図
上記の式の説明:
-
式 (1) レイヤ l ノードの埋め込み
線形変換が行われ、W^((l)) は変換のトレーニング可能なパラメーターです
-
式 (2) は、ノードのペア間の生の注意スコアを計算します。最初に 2 つのノードの z 埋め込みを連結します。ここで || は連結を表すことに注意してください。次に、連結された埋め込みと学習可能な重みベクトルを内積し、最後に LeakyReLU 活性化関数を適用します。この形式のアテンション メカニズムは、多くの場合、付加的アテンションと呼ばれます。これは、Transformer の内積アテンションとは異なります。
-
式 (3) は、注意の重みを取得するために、ノードのすべての着信エッジから取得された元の注意スコアにソフトマックス演算を適用します。
-
式 (4) は、GCN のノード特徴更新規則に似ており、隣接するすべてのノードの特徴に注意して加重加算を行います。
周波数ドメイン:
モデル代表：GCN (Graph Convolutional Network) グラフ畳み込みネットワーク
利点: パラメータの保存
短所: 動的グラフへの適用が容易ではない
(同じ次数の近傍内の異なる近傍に割り当てられた重みはまったく同じです (近傍内の異なるノードに異なる重みを割り当てることはできません)
グラフ畳み込み操作は、隣接する特徴の正規化された合計で構成されます。
ここで、N(i) は、ノード i までの距離が 1 である近傍のセットです。通常、ノード i をノード i 自体に接続するエッジを追加して、i 自体が N(i) に含まれるようにします。
グラフ構造に基づく正規化定数です。
σ は活性化関数 ( GCN は ReLU を使用);
W^((l)) はノード特徴変換の重み行列で、すべてのノードで共有されます。
c_ij はグラフの構造に関係しているため、あるグラフで学習した GCN モデルを別のグラフに直接適用することは困難です。
一般的な手順:
- グラフ隣接行列の処理
- グラフ隣接行列の固有値を分解して固有値を取得し、
- コアの違い (距離が 1 の隣接ノードの特徴表現を収集して蓄積する方法)
- 固有ベクトルを定数として扱い、畳み込みカーネルは固有値に作用します
GAT は、グラフ畳み込みの固定正規化操作をアテンション メカニズムに置き換え、元の正規化定数をアテンション ウェイトを使用した隣接ノードの特徴集約関数に置き換えます。
マルチヘッドアテンション
畳み込みニューラル ネットワークのマルチチャネルと同様に、GAT はマルチヘッド アテンションを導入して、モデルの能力を強化し、トレーニング プロセスを安定させます。各アテンション ヘッドには独自のパラメーターがあります。複数のアテンション メカニズムの出力結果を統合するには、一般に次の 2 つの方法があります。
上式の K は注意頭の数です。著者は、中間層には連結を使用し、最後の層には平均化を使用することを推奨しています。