この記事では、Paddle コミュニティの開発者である Xiao Congxi と Zhou Jingbo がトップ データ マイニング カンファレンスである KDD2023 で発表した論文「Spatial Heterophily Aware Graph Neural Networks」を紹介します。
シャオ・コンシー
Xiao Congxi は、Baidu Research Institute の Business Intelligence Laboratory の研究インターンであり、中国科学技術大学の博士候補者であり、主に時空間データ マイニングとグラフのディープ ラーニングに関連する研究業務に従事しています。フライングパドルに基づいたいくつかの論文を完成させ、KDDやAAAIなどの主要なコンピュータ学会で発表しました。
周静波
Paddle Developer の上級技術専門家 (シニア PPDE) である Zhou Jingbo 氏は、現在、Baidu Research Institute のビジネス インテリジェンス研究室の上級研究員であり、主に時空間ビッグ データを含むデータ マイニングと機械学習に関連する研究と応用業務に従事しています。 、深層幾何学学習、ナレッジ グラフ、AI 支援創薬設計、PaddleSpatial テクニカル ディレクターは、フライング パドルに基づいて、KDD、AAAI、TKDE およびその他の主要なコンピューター会議やジャーナルで発表された多数の論文を完成させました。
背景紹介
近年、グラフ ニューラル ネットワーク (GNN) がスマート シティ コンピューティングで広く使用されています。都市は複雑なシステムであり、都市エンティティ間にはさまざまなつながりがあることを考慮して、多くの研究作品は都市を都市グラフ (アーバン グラフ) としてモデル化します。グラフ上のノードはある種の都市エンティティを表し、エッジは都市エンティティを表します。特定の協会では、都市のさまざまな下流タスクを解決するために都市グラフを学習するためにグラフ ニューラル ネットワークを採用しています。
ただし、一般的なグラフとは異なり、都市グラフには空間異性愛 (Spatial Heterophily) が存在することが多く、これにより一般的なグラフ ニューラル ネットワークのパフォーマンスが制限されます。まず第一に、異性愛と同性愛は 2 つの相対的な概念です。一般的な GNN モデルは、グラフ データに適切な品揃えがあり、隣接するノードが同様の特性を持っていることを前提としています。ただし、異なる機能を持つ都市エンティティ間の複雑な関係により、都市グラフには異質性が生じることがよくあります。つまり、接続されたノードが類似していない可能性があります。たとえば、住宅地と職場はかつては頻繁に人口移動の関係にありましたが、この 2 つのエリアの間には大きな違いがあることは明らかです。一般的な同親性 GNN は、隣接するノードに対して同様の表現を生成する傾向があり、重要な差異情報を無視する可能性があり、異種都市グラフでの有効性が制限されます。
この論文ではさらに、都市グラフにおける近隣の異質性が、通常、ある程度の空間的多様性を示しており、これを空間的異質性と呼んでいることを発見しました。一般的な割り当て解除グラフの場合、隣接ノードと中央ノードには差異があります。都市グラフでは、異なる地理的位置にある隣接ノードは、中央ノードの差の分布が異なり、均一ではありません。つまり、差には空間的多様性があります (空間多様性) ）。この論文では、都市地図の空間的不均一性を記述するために空間多様性スコア指数 (Spatial Diversity Score) を設計します。図 1(a) に示すように、都市地図はより高いスコアを取得する可能性があり、地図上の近隣差異の分布に空間的多様性、つまり空間的ヘテロアソートメントがあることを示しています。
図 1 空間ヘテロアソートメント分析
一部の研究者はグラフの不均一性の問題を研究し始めていますが、既存の異種グラフ ニューラル ネットワーク (Heterophilic GNN) は主に、グラフ上に 2 種類のノードしかないと仮定するなど、近傍の差が限られた異種グラフを研究していますが、都市地図上の近隣差異の分布の空間的多様性を考慮することができません。図 1(b) に示すように、人工的に合成された一連のグラフ上で、さまざまな GNN モデルのパフォーマンスを実験的に比較しました。グラフの空間的視差が徐々に追加される（スコアが徐々に増加する）と、既存の不一致グラフ ニューラル ネットワークでは優れたパフォーマンスを維持できなくなります。したがって、空間的不均一性を解決し、都市地図上で表現学習をより適切に実行できるグラフ ニューラル ネットワークを設計することは非常に意味があります。
この問題を解決するために、本論文では空間異質性認識グラフ ニューラル ネットワーク (SHGNN) を提案します (図 2 にそのモデル構造を示します)。モデルの設計は、「すべてのものは関連しているが、近いものはより密接に関連している」という地理の第一法則に触発されています。つまり、都市では、同様の空間的位置を持つ都市エンティティは通常、同様の特性を持っていることが観察できます。この特徴に基づいて、この方法の中心的なアイデアは、空間的位置に従って近傍を分割し、同様の空間を持つ近傍をグループにグループ化し、グループ内の近傍が中心ノードと同様の差分分布を持つようにすることです。 、グループ内の隣人の問題を軽減するため。これに基づいて、差分情報を同時にモデル化し、各グループを個別に処理し、都市グラフの空間的異質性を分割統治法で解決できるグラフ学習アルゴリズムを設計します。
本作ではフライングパドルをベースとしたモデル構築と訓練を実現しました。入力データとしては、パドルグラフ学習フレームワークPaddle Graph Learning（PGL）を利用し、ノード間の接続関係、ノードの空間座標、ノード間の空間距離などの情報を含む都市グラフを効率的に構築・保存する。 。モデルに関しては、この論文はまず、PGL のサブグラフ抽出インターフェイスとメッセージ受け渡しメカニズムを組み合わせて、異なる空間位置にある近傍に対するメッセージ集約の操作を便利に実現し、次にフライングパドルのテンソル行列操作に基づいて都市地図を作成します。共通情報と差異情報の相互作用について、都市グラフの表現学習を強化します。フライパドルダイナミックグラフフレームワークに基づくモデルのエンドツーエンドトレーニングの後、提案された方法はさまざまな下流タスクで優れたパフォーマンスを示します。
メソッドフレームワーク
図 2. 空間格差知覚のためのグラフ ニューラル ネットワーク
この論文で提案する空間異質性を認識したグラフ ニューラル ネットワークは、主に、回転スケーリング空間集約と異質性敏感空間インタラクションという 2 つのモジュールで構成されます。
回転スケールの空間認識近隣集約
回転ストレッチ空間認識近傍集約では、最初に隣接ノードを分割し、同様の位置を持つ隣接ノードを同じ空間グループ (空間グループ) に割り当てます。これにより、グループ内の隣接ノードが中央ノードと同様の差分分布を持つようになります。差異分布を緩和するため。次に、各空間グループの隣接ノードで個別に特徴集約を実行します。近傍分割とグループ集約は、空間的異種集合を分割統治法で解決するための基礎です。
回転スケールのデュアルビュー空間分割
図3 回転・伸縮二視点空間分割の模式図
図 3 (a) および (b) に示すように、まず各中心ノードの周囲の地理空間を方向次元 (Direction View) と距離次元 (Distance View) から分割し、複数の互いに素な部分空間を生成し、それに応じて各隣接ノードをグループ化します。それがいる亜空間へ。このうち、方向次元では地理空間を方向の異なる複数のセクター(Sector)に分割し、距離次元では距離の異なる複数のリング(Ring)に分割します。フライングパドルに基づいて上記の空間分割機能を実現しました: まず、フライングパドル PGL のノード機能とエッジ機能アクセス API を使用し、エリアとリング、次に PGL に基づくサブグラフ API を使用して、各セクターとサンプリングを簡単に定義できます。各リングを異なるサブグラフとして作成し、隣接ノードの分割を完了します。コードは次のとおりです。
次の特殊な状況を考慮して、いくつかの隣接ノードが 2 つの部分空間の境界上に分散している可能性があり、それらがどのグループに属しているかを決定することは不可能です。さらに、両方向に複数のパーティションを実行する、回転スケールのマルチパーティション戦略を提案します。図 3(c) と (d) に示すように、パーティション間で相補的な利点を発揮できます。実装面では、フライングパドルを介して複数セットのセクター境界の回転角度と複数セットのリング境界の距離間隔を定義し、空間分割関数を複数回呼び出して複数の空間分割を実現します。
空間認識近隣集約
空間分割が完了すると、その近傍で特徴量集約とメッセージパッシングが行われます。一般的な GNN は通常、近傍の特徴を集約するために加算または平均を使用しますが、これでは異なる空間分布を持つ近傍を区別できず、結果として空間的多様性が混在した異種の分布が生じ、処理が困難になります。対照的に、この方法では、各空間グループ内の近傍に対してグループごとの集約を実行し、「分割統治」による空間的異質性を実現します。集約プロセスを図 2(a) に示します。分割された PGL サブグラフ構造に基づいて、PGL のメッセージ パッシング メソッド SEND-RECV を利用して、各空間グループでのメッセージ パッシングと特徴の集約を簡単に実装できます。例として、方向ディメンションの下のセクター内の隣接アグリゲーションを取り上げます。コードは次のとおりです。
異なる一致知覚の空間的相互作用
これに基づいて、視差知覚の空間相互作用モジュールには、都市地図上の各空間グループから中心ノードへの共通情報（共通性）と差異を適応的に抽出して利用する2つの学習可能なカーネル関数（カーネル関数）が含まれています。情報（矛盾）。
共通カーネル関数
異なる空間グループが中心ノードの近隣であることを考慮すると、近隣の共通知識 (Common Knowledge) または類似性特徴の使用がグラフ表現の学習に有益であることが広く検証されています。したがって、図 2(b) に示すように、最初に空間グループ間の共通性情報を取得する共通性カーネル関数を設計し、その共通性情報を使用して各グループの表現を強化します。方向次元を例にとると、パドルテンソル計算に基づいて、異なるセクター間の共通性の測定を実現し、共通性情報でセクター表現を更新しました。
差分カーネル
一般的な知識に加えて、異種都市グラフでは、隣接ノードの差分情報をモデル化することがさらに重要です。したがって、中央ノードと空間グループの間、および各空間グループ間の相違を捕捉し、同様に差分情報を使用して各空間グループの表現を強化するために、別の不一致カーネル関数 (不一致カーネル関数) を設計しました。方向次元を例にとると、コードの実装は次のようになります。
注意ゲートメカニズム
さまざまなアプリケーション シナリオでは、都市地図上のさまざまな都市エンティティがさまざまな程度の空間的異質性を持つ可能性があります。そこで、フライングパドルに基づくアテンションゲートメカニズム（Attentive Gate）をさらに実装し、特定のタスクにおけるノード表現学習における共通情報と差分情報の重要性をエンドツーエンドで適応的に学習しました。 2 つのコンポーネントの重要性を学びます。 融合を実行します。
空間次元融合
最後に、パドルを通じて学習可能なスケール パラメーターを定義し、方向次元と距離次元で取得した近傍表現を融合し、中心ノードの表現を更新します。
さまざまなアプリケーションでは、さまざまな損失を使用してネットワークを最適化し、ノードの最終表現を取得できます。これはノード予測タスクに使用できます。
実験
3 つの都市タスクに対して 3 つの実際のデータセットで実験を行い、都市地図上の空間的異質性を考慮する重要性を検証し、手法の有効性を確認します。一般的な同一割り当てグラフ ニューラル ネットワーク、異種グラフ ニューラル ネットワーク、空間グラフ ニューラル ネットワークと比較して、この方法はさまざまな下流タスクでより優れたパフォーマンスを達成できます。
表 1 3 つの都市タスクにおけるパフォーマンスの比較
さらに、2 つの空間次元からの空間格差のモデリング、回転スケールの複数のパーティションの使用、共通点と相違点の情報の同時取得など、豊富なアブレーション実験を通じてこのメソッドの設計の各部分の役割も検証しました。地図など。
図4 アブレーション実験
要約する
この論文は、都市地図上の空間的同類性に関する特有の問題を調査します。一方では、都市グラフの空間的異質性を説明するためのメトリクスを設計し、グラフ ニューラル ネットワークへのその影響を分析します;他方では、フライング パドル グラフ学習フレームワークに基づく新しい空間的異質性の認識を実装します。空間分割に従って近隣を簡単にグループ化し、分割統治によって都市グラフの空間格差の問題を解決し、複数の都市タスクのパフォーマンス向上を達成できます。
関連するコードは、PaddleSpatial 時空コンピューティング プラットフォームでオープンソース化されています。PaddleSpatial は、Baidu Flying Paddle の深層学習フレームワークに基づいて開発された時空間ビッグ データ コンピューティング ツールおよびプラットフォームであり、領域セグメンテーション、時空間転移学習、時系列予測などの Baidu の最先端の時空間機能を統合し、アプリケーションのアプリケーションをサポートできます。さまざまな時空間コンピューティング シナリオ。
紙
https://arxiv.org/abs/2306.12139
コード
https://github.com/PaddlePaddle/PaddleSpatial/tree/main/research/SHGNN