【論文紹介】-Subgraph Federated Learning with Missing Neighbor Generation（FedSage、FedSage+）

論文情報

近傍世代が欠落しているサブグラフ連合学習

元のリンク: 近隣世代が欠落しているサブグラフ連合学習: https://arxiv.org/abs/2106.13430

概要

グラフは、実世界のオブジェクトとその相互作用を独自に表現するため、データ マイニングや機械学習で広く使用されてきました。グラフがますます大きくなるにつれて、サブグラフが別々に収集され、複数のローカル システムに格納されるのが一般的になっています。したがって、各ローカルシステムがグラフ全体の分布から偏っている可能性のある小さなサブグラフを保持する、サブグラフ連合学習設定を考慮するのは自然なことです。したがって、サブグラフ連合学習は、グラフ データを直接共有することなく、強力で一般化可能なグラフ マイニング モデルを共同でトレーニングすることを目的としています。この作業では、サブグラフ フェデレーテッド ラーニングの斬新かつ現実的な設定に向けて、2 つの主要な手法を提案します。複数のローカル サブグラフのタスク ラベル。(2) FedSage+ は、FedSage に沿ってミッシング ネイバー ジェネレーターをトレーニングし、ローカル サブグラフ全体のミッシング リンクを処理します。合成されたサブグラフ連合学習設定を使用した 4 つの実世界のグラフ データセットに関する実験結果は、提案された手法の有効性と効率性を示しています。同時に、一貫した理論的含意は、グローバル グラフでの一般化能力に対して行われます。

グラフは、実世界のオブジェクトとその相互作用を独自に表現するため、データ マイニングや機械学習で広く使用されています。グラフが大きくなるにつれて、サブグラフが収集され、複数のローカル システムに別々に保存されるのが一般的です。したがって、各ローカルシステムがグラフ全体の分布から逸脱する可能性のある小さなサブグラフを保持する、サブグラフ連合学習設定を考慮するのは自然なことです。したがって、サブグラフ連合学習は、グラフ データを直接共有することなく、強力で一般化可能なグラフ マイニング モデルを共同でトレーニングすることを目的としています。

この作業では、サブグラフ連合学習の斬新で現実的な設定のための 2 つの主要な手法を提案します: (1) FedSage は、複数のローカル サブグラフ機能、リンク構造、およびタスク ラベル上のノードを統合する FedAvg ベースの GraphSage モデルをトレーニングします。 ) FedSage+ は、FedSage に沿ってミッシング ネイバー ジェネレーターをトレーニングし、ローカル サブグラフ全体のミッシング リンクを処理します。合成サブグラフ連合学習設定を使用した4つの実際のグラフデータセットに関する実験結果は、提案された手法の有効性と効率を示しています。同時に、グローバルグラフでの一般化可能性について、一貫した理論的含意が提案されています。

フェドセージ

ローカル システムに分散されたサブグラフ

グローバル グラフを G = {V, E, X} と表します。ここで、V はノードのセット、X はそれぞれのノードの特徴のセット、E はエッジのセットです。FL システムでは、中央サーバー S と分散サブグラフを持つ M データ所有者がいます。Gi = {Vi, Ei, Xi} は Di が所有するサブグラフで、i ∈ [M] です。

システム全体として、 と仮定します。多くのミッシング リンクがあるシナリオをシミュレートするために、データ所有者間で重複するノード共有がないことを前提としています。中央サーバー S はグラフ マイニング モデルのみを維持し、実際のグラフ データは格納しないことに注意してください。データ所有者 Di は、別のデータ所有者 Dj から u∈Vj を直接取得することはできません。

グローバル グラフ G = {V, E, X} の場合、各ノード v ∈ V には、ノード分類などのダウンストリーム タスク用の特徴 xv ∈ X とラベル yv ∈ Y があります。v ∈ V の場合、v の特徴と対応するラベルは dy 次元のワンホット ベクトルであることに注意してください。典型的な GNN では、ノードに関する情報を予測するには、ノードの自己グラフを照会する必要があります。グラフ G のノード v に対して、v のクエリ グラフを G(v) および (G(v), _{yv )} ~ DG とします。

このシステムは、FL フレームワークを活用して、元のグラフ データを共有することなく、すべてのデータ所有者の間で分離されたサブグラフを共同で学習し、グローバル ノード分類子 F を生成します。F の学習可能な重み φ は、グローバル グラフ G から引き出された重みの分布に従って、照会された自己グラフに対して最適化されます。総リスクを最小化する φ* を見つけることとして問題を形式化します。

ここで、R _iは次のように定義される局所的な経験的リスク

です。

孤立したサブグラフでの共同学習

上記のシステム目標を達成するために、シンプルで効率的な Fed Avg フレームワークを利用し、ノード分類子 F を Graph Sage モデルとして修正します。GraphSage モデルの一般化とスケーラビリティにより、異種のクエリ分布を使用したさまざまなサブグラフのトレーニングと、グローバル グラフでのその後の推論が容易になります。FedAvg フレームワークを使用してトレーニングされた GraphSage モデルを FedSage と呼びます。

クエリされたノード v ∈ V の場合、グローバルに共有される K 層 GraphSage 分類器 F は、v とその K ホップ近傍をグラフ G に統合して、学習可能なパラメーターで予測を行います。サブグラフ Gi を例にとると、特徴v∈Vi について、各層 k∈[ K ] で、F は v の表現を次のように計算し

ます。連結操作 、Agg( ) はアグリゲーター、σ は活性化関数です。

v∈V _i F の推論ラベルを出力する場合、教師付き損失関数 l ( φ | ) は次のように定義されます

。 Gi 上の v および Gi 上のその K ホップ ネイバーに関する情報が含まれています。

Fed Sage では、分散サブグラフ システムは、 e _cラウンドのトレーニングを通じて、φ によってパラメータ化された共有グローバル ノード分類子 F を取得します。各エポック t では、エポック tのサンプリングされたトレーニング ノードを含む各 Di が最初にローカルで計算され、η は学習率です。次に、中央サーバー S が最新の を収集します。次に、S は φ を平均に設定します。値を平均化することにより; 最後に、S は φ をデータ所有者にブロードキャストし、トレーニング F のラウンドを完了します。ec _roundsの後、システム全体が F を結果のグローバル分類子として取得します。これは、特定のデータ所有者のクエリに制限されたり偏ったりすることはありません。

ユークリッド データの FL とは異なり、分散サブグラフ システムのノードは、サブグラフ間で相互作用する可能性があります。ただし、システム内のサブグラフ間リンクはデータ所有者がキャプチャできないため、グローバル グラフ上のサブグラフ間リンクと比較して、不完全な近傍が一般的です。したがって、FedSage を介して不完全にクエリされた自己グラフ情報を直接集約すると、結果 F のグローバルなクエリ分布を取得するという緊急の要件が制限されます。

FedSage+

ミッシング ネイバー ジェネレーター (NeighGen)

NeighGen のニューラル アーキテクチャを下図に示します. Neigh Gen は、エンコーダ He ^eとジェネレータ H ^gの2 つのモジュールで構成されています。それらの設計については、以下で詳しく説明します。

He : GNNモデル、つまりパラメータ θ e を持つ K 層 Graph Sage エンコーダ^。入力グラフ Gi 上のノード v∈Vi の場合、H ^gを埋め込むノードは次の式に従って計算されます。Hg は dGen と fGen で構成されます。ここで、dGen は θ d によってパラメーター化された線形回帰モデルであり、欠落した近傍の数を予測します。fGen は、一連の Ni 特徴ベクトルを生成する θ f によってパラメーター化された特徴ジェネレーターです。dGen と fGen はどちらも全結合ニューラル ネットワーク (FNN) として構造化されていますが、fGen にはガウス ノイズ ジェネレーター N(0,1) と、z 次元のノイズ ベクトルを生成するランダム サンプラー R も装備されています。ノード v ∈ Vi の場合、fGen は変分的であり、埋め込み zv にノイズを挿入した後、v の欠落した隣接特徴を生成しますが、R は、特徴ジェネレータ特性の出力から nv 特徴ベクトルをサンプリングすることにより、fGen が特定の数の特徴を出力することを保証します隣人の。数学的には、

システム内のデータ所有者ごとに、特定のノードのセットのみがサブグラフ全体で欠落している隣接ノードを持っていると想定しています。この仮定は、分散サブグラフ システムの本質を捉えており、グラフの障害と修復プロセスを通じて欠落している近傍をローカルでシミュレートできるため、自明ではなく現実的です。具体的には、Neigh Gen トレーニング中のグラフ パッチング プロセスをシミュレートするために、各ローカル サブグラフ Gi で、そのノードの h% とそれらを含むすべてのリンクをランダムに保持して、ノードの機能に対応するノードを含むと示される損傷したサブグラフを形成しますとエッジ。

したがって、Ehi をリンクする真の欠落ノード Vhi に基づいて、損傷したグラフ Gi で NeighGen をトレーニングすると、次のように dGen と fGen を共同でトレーニング

できます。Gi 上の v の隣接ノードであるnv ノードが含まれているが、Vhi には含まれていないことに注意してください。この検索は、Neigh Gen をトレーニングするための基礎を提供します。

Graphsage と Neighgen のローカル共同トレーニング

NeighGen は失われた隣人を回復することを目的としていますが、私たちのシステムの最終的な目標は分類子をトレーニングすることです。したがって、Graph Sage と Neigh Gen の共同トレーニングを設計し、Neigh Gen によって生成された近隣ノードを使用して、Graph Sage のノード分類を支援します。ローカル グラフでの Graph Sage と Neigh Gen の統合を LocSage+ と呼びます。

Neigh Gen は、グラフ Gi をグラフ Gi' に修復した後、Graph Sage 分類器 F をグラフ Gi' に適用します。したがって、NeighGen と Graph Sage のジョイント トレーニングは、次の損失関数を最適化することによって行われ

ます。ただし、Graph Sage と同様に、Local Neighbor Gen でエンコードされた情報は限定され、ローカル グラフに偏っており、欠落したクロス サブグラフ リンクによって接続された他のデータ所有者に属する近傍を実際に生成することはできません。このためネイゲンをFLで育成するのも当然です。

Graphsage と Neighgen によるフェデレーテッド ラーニング

Graph Sage を単独で使用するのと同様に、FedAvg は、損失関数を L として設定し、学習可能なパラメーターを {θe, θd, θf, φ} として設定することにより、Graph Sage と Neigh Gen の共同トレーニングに適用できます。ただし、システム全体で NeighGen の重みを直接平均化することによる協力は、そのパフォーマンスに悪影響を与えることがわかります。つまり、単一の NeighGen モデルの重みを平均しても、異なるサブグラフから異なる近傍を生成することはできません。Neigh Gen を構築する目的は、各サブグラフで異なるミッシング ネイバーを生成することにより、集中型 Graph Sage 分類子のトレーニングを容易にすることであることを考慮すると、集中型 Neigh Gen は必ずしも必要ではありません。したがって、単一の集中型 Neigh Geni をトレーニングする代わりに、データ所有者 Di ごとにローカルの Neigh Geni をトレーニングします。各 Neigh Geni が他のサブグラフ Gj に似た別個の隣接グラフを生成するために、次のように f Geni にサブグラフ間特徴再構成損失を追加します。

上記のように、方程式を最適化するには、Di は最も近い u を選択する必要があります。ただし、Dj のノード機能 Xj を Di に直接転送することは、直接データを共有しないという部分グラフ FL システムの制約に違反するだけでなく、各 Di がグローバル グラフ全体のノード プロパティである必要があるため、実際には非現実的です。プロセス中に保存されます。したがって、Di が式を使用して Neigh Geni を更新できるようにします。Xj に直接アクセスできない場合、v¯ ∈ Vi の場合、Dj はローカルで計算され、対応する勾配が Di に送り返されます。

FedSage+ アルゴリズム