非ユークリッド空間データと複雑な特徴の処理における利点により、グラフ ニューラル ネットワークは広く注目されており、推奨システム、ナレッジ グラフ、交通道路分析などのシナリオで使用されています。
大規模なグラフ構造の不規則性、ノード機能の複雑さ、トレーニング サンプルの依存性により、分散システムにおけるグラフ ニューラル ネットワーク モデルの計算効率、メモリ管理、通信オーバーヘッドに大きな圧力がかかります。この記事では、まずグラフ ニューラル ネットワーク モデルにおけるメッセージ パッシング メカニズムを簡単に紹介し、一般的なグラフ ニューラル ネットワーク モデルをカテゴリ別に紹介し、大規模なデータ トレーニングで直面する困難と課題を分析し、その後、グラフ ニューラル ネットワーク アルゴリズム モデルについて説明します。大規模データの場合、ノード、エッジ、サブグラフに基づくサンプリング アルゴリズムを含む分類の概要と分析を実行し、その後、主に主流フレームワークの導入と分類の概要と最適化の分析を含む、グラフ ニューラル ネットワーク プログラミング フレームワークの高速化の関連する進捗状況を紹介します。テクノロジー。
1 はじめに
グラフ構造は、遺伝的構造、通信ネットワーク、交通ルート、ソーシャル ネットワークなどの複雑な関係を記述することができます。グラフコンピューティングは構造情報をマイニングしますが、ノードの特徴を学習することはできません。ニューラル ネットワークはユークリッド空間データでは優れたパフォーマンスを発揮しますが、非ユークリッド空間グラフ データには直接適用できません。グラフ ニューラル ネットワークは、グラフ コンピューティングとニューラル ネットワークの利点を組み合わせて、非ユークリッド空間データとその複雑な特性を処理し、ネットワーク リンク予測に適用されます。推奨システムや交通シナリオ、道路分析など。実際のアプリケーションでは、グラフデータの規模は数百億のノード、数千億のエッジなど巨大となり、ストレージのオーバーヘッドは10TBを超えます。 GNN は、大規模データにおける計算効率、メモリ管理、分散通信オーバーヘッドという課題に直面しています。大規模データ アプリケーションにおいてグラフ ニューラル ネットワーク モデルが直面する課題は、グラフ データ構造、グラフ ニューラル ネットワーク モデル、データ スケール、およびハードウェア プラットフォームに分類できます。
(1) グラフ データ構造。 グラフ データ構造の不規則性、スパース性、およびダイナミクス、隣接するノードの数のべき乗則分布、およびサンプル間の相互依存性は、効率的なメモリ アクセスと分散コンピューティング システムに課題をもたらします。
(2) グラフ ニューラル ネットワーク モデル。 ノードの高次元表現はグラフ ニューラル ネットワークの顕著な機能であり、これによりモデルの機能が向上しますが、計算とメモリのオーバーヘッドが増加するため、大規模なデータでは特に困難になります。ディープ グラフ ニューラル ネットワーク モデルは、反復更新メカニズムによる隣接ノードの爆発の問題に直面しています。
(3) データ サイズ。グラフ ニューラル ネットワークのバッチ トレーニング全体はメモリによって制限されており、バッチ トレーニングではデータの分割と反復更新の難易度が増加します。
(4) ハードウェア構造。グラフ ニューラル ネットワーク モデルには、グラフ データ構造と複雑な機能に関するモデリング要件があり、柔軟な不規則なデータの読み取りと効率的な集中計算が必要です。 CPU と GPU にはそれぞれ独自の利点がありますが、これら 2 つの要件を同時に満たすことができないため、大規模なグラフ ニューラル ネットワーク モデルを高速化することがさらに困難になります。
グラフ ニューラル ネットワーク (GNN) モデルのスケーラビリティを向上させ、実行プロセスを高速化してメモリ オーバーヘッドを削減し、関連する困難や課題に対処し、軽減するために。アプリケーション モデルの観点からは、研究者は、自然言語処理、トラフィック予測、推奨システムなどのアプリケーション シナリオ向けに、グラフ ニューラル ネットワークの処理効率を向上させる戦略を提案しています。アルゴリズムモデルに関しては、メモリ不足の問題を解決するために、GraphSage、FastGCNなどのバッチトレーニングが研究で使用されています。プログラミングフレームワークに関しては、学習サンプルの依存関係を解決するために、DGLやPyGなどのプログラミングフレームワークが提案されています。ハードウェア構造に関しては、CPU、GPU、FPGAなどのハードウェア構造と組み合わせた最適化戦略や、HyGCNなどの専用ハードウェアアクセラレーション構造が提案されています。図1：
図1 GNN全体フレームワーク図
表 1 に、この記事の関連レビューを示します。レビュー [29-32] は、グラフ ニューラル ネットワーク モデルのフルグラフ トレーニング モードとそのアプリケーションに焦点を当てています。ただし、ノードまたはエッジの数が膨大な場合、トレーニング プロセスは 1 つの GPU メモリによって制限されます。この問題を解決するために、サンプリング アルゴリズムはグラフ ニューラル ネットワーク モデルのフルグラフ トレーニングからバッチ トレーニングへの移行をサポートし、大規模データに適用されます。グラフ ニューラル ネットワーク プログラミング フレームワークは、ディープ ラーニング フレームワークとグラフ構造機能を組み合わせて、ストレージの使用率とコンピューティング効率を向上させ、大規模なデータ アプリケーションを促進します。レビュー [33-34] は主にグラフ ニューラル ネットワーク プログラミング フレームワークの進歩を要約しています。レビュー [36-38] は分散プラットフォームに焦点を当てており、アルゴリズム モデル、ソフトウェア フレームワーク、およびハードウェア プラットフォームにおける分散 GNN の進歩を要約および分析しています。
表 1 グラフ ニューラル ネットワークの概要
この記事では、アルゴリズム モデルとフレームワークの最適化という 2 つの側面から大規模なグラフ ニューラル ネットワークを調査、要約、分析します。まず、GNN の基礎知識と代表的なアルゴリズムを紹介し、次に、さまざまな粒度のサンプリング戦略を使用したグラフ ニューラル ネットワーク モデル、および主流の高速化フレームワークと関連テクノロジをまとめます。これは、大規模なデータ アプリケーションにおける後続のグラフ ニューラル ネットワーク アプリケーションにおけるフレームワーク アルゴリズムの協調的な最適化に関するアイデアを提供します。
この記事の内容は、図 2 に示すように構成されています。
図 2 この記事の内容構成
2 グラフ ニューラル ネットワーク
グラフ ニューラル ネットワーク (GNN) は、グラフ コンピューティングとニューラル ネットワークの利点を組み合わせて、グラフ構造と抽象的なノードの特徴をキャプチャする、グラフ構造データのニューラル ネットワーク モデルです。グラフ コンピューティング モデルは、トポロジー構造の捕捉には優れていますが、高次元の特徴を処理することはできません。一般的なニューラル ネットワークは、グリッド データを処理する畳み込みニューラル ネットワークやシーケンス情報を処理するリカレント ニューラル ネットワークなど、ユークリッド空間データに適しています。非ユークリッド空間の複雑なグラフ データの場合、モデリング プロセスには新しい処理メカニズムが必要です。現在普及しているメッセージ伝播モデルは、近隣集約とノード更新の 2 つのステップを含む高次近隣情報を取得することにより、ノード表現機能を向上させます。
このセクションでは、メッセージ パッシング メカニズムから始まり、グラフ ニューラル ネットワーク モデルの集約と更新操作を紹介し、グラフ畳み込みニューラル ネットワーク、グラフ アテンション ネットワーク、リカレント グラフ ニューラル ネットワーク、およびオートエンコーダー グラフ ニューラル ネットワークを分類別に紹介し、そのアプリケーションを分析します。大規模データのトレーニングにおける課題とその課題をまとめます。
2.1 メッセージ受け渡しメカニズム
ニューラル ネットワークに基づくメッセージ パッシング メカニズムは、ネットワーク内で伝播するノードの特性のプロセスを記述し、最終的に伝播結果はニューラル ネットワークの操作を通じてノード表現で繰り返し更新されます。グラフ ニューラル ネットワーク表現モデルは、グラフ構造情報を取得し、複雑なノードの特徴をモデル化できます。
2.2 一般的なモデル
グラフ畳み込みネットワーク (GCN)。 GCN は、畳み込み演算を通じて隣接ノードの集約を実現する一般的なグラフ ニューラル ネットワーク モデルです。 GCN モデルは、スペクトル ドメイン ベースと空間ドメイン ベースの 2 つのカテゴリに分類されます。スペクトル ドメイン ベースの手法はグラフ信号解析とグラフ理論に基づいており、空間ドメイン ベースの手法は隣接ノードの直接集約に焦点を当てています。
大規模なデータトレーニングでは、GCN はメモリ不足と隣接爆発の問題に直面します。バッチトレーニングではメモリの制約が軽減されますが、計算量とメモリの消費量が増加します。レイヤーの数が増えると、リソースの消費量が指数関数的に増加します。
グラフ アテンション ネットワーク (GAT)。 GAT は、グラフ構造データの処理に使用される深層学習モデルです。各ノードに異なる重みを割り当ててノード間の依存関係を把握するアテンション メカニズムが導入されています。 GAT はグラフ ニューラル ネットワークにおいて効率的かつスケーラブルであり、ソーシャル ネットワーク、レコメンデーション システム、バイオインフォマティクス、その他の分野で広く使用されています。
大規模なデータ学習では、GAT と GCN の両方でメモリ不足と隣接爆発の問題が発生します。 GAT はアテンション加重集計を使用するため、より多くのコンピューティング リソースとストレージ リソースが消費されます。
ゲート グラフ ニューラル ネットワーク (GGNN)。リカレント ニューラル ネットワーク (RNN) は、テキスト、ユーザー履歴、オーディオとビデオなどの逐次情報をモデル化するために使用されます。長短期記憶ネットワーク (LSTM) とゲート反復ユニット (GRU) は、RNN の 2 つの一般的な形式です。 GGNN モデルは GRU に基づいており、状態シーケンスを出力するタスクを目的としていますが、GCN および GAT モデルは静的グラフを入力として受け取ります。 GGNN は時間発展グラフを入力として受け取り、忘却ゲートや更新ゲートなどの構造を通じてグラフ構造の発展特性を捕捉します。
大規模なデータ トレーニングでは、GGNN は隣接行列全体を読み込む必要があるため、より多くのメモリを消費します。トレーニングには、多数のパラメータと大きな記憶力の課題が伴います。バッチ トレーニングでは、グラフ データの不規則性により冗長な計算が増加します。
オートエンコーダ (構造ディープ ネットワーク エンベディング、SDNE) に基づくグラフ ニューラル ネットワーク。オートエンコーダはエンコーダとデコーダで構成され、教師なし学習を通じてノード表現を効率的に学習します。 SDNN モデルはグラフ構造データにオートエンコーダーを適用します。一般的なオートエンコーダー モデルと同様に、SDNN はノードの再構成損失を削減する必要があります。さらに、ノード間の類似性も考慮されます。
SDNE はノード間の高次の相関を取得できないため、損失関数を通じてノード間の直接の相関を取得する必要がありますが、大規模なデータ トレーニングではメモリの制限により、バッチ トレーニングでの冗長な計算が発生します。ネガティブサンプリングにもかかわらず、グラフデータの不規則性が依然として課題を引き起こしています。
表 3 は、グラフ ニューラル ネットワーク モデル、グラフ データ構造、データ スケールの 3 つの側面における、さまざまなモデル トレーニング方法 (全体バッチ トレーニングとバッチ トレーニング) に基づく課題をまとめたものです。
表 3 大規模データ アプリケーションにおけるグラフ ニューラル ネットワークの課題
(* は、関連する課題の主な理由を示します)
3 グラフニューラルネットワークサンプリングアルゴリズム
大規模なデータ トレーニングにおいてグラフ ニューラル ネットワークが直面する課題に対応して、いくつかの有意義なアルゴリズム最適化作業が実行されました。作業のほとんどはデータの最適化に焦点を当てており、最も重要な方法は、さまざまな粒度のサンプリング アルゴリズムを使用してバッチ トレーニングを実装することです。これらのアルゴリズムは、サンプリング粒度に応じて、主にノードベースのサンプリング アルゴリズム、レイヤーベースのサンプリング アルゴリズム、サブグラフベースのサンプリング アルゴリズムの 3 つのカテゴリに分類できます。
3.1 ノードベースのサンプリングアルゴリズム
グラフセージ。 GraphSage は、モデル パラメーターの表現学習と最適化にノード サンプリングを使用します。図 3(b) に示すように、ターゲット ノードに対して、一定数の隣接ノードがランダムにサンプリングされ、特徴の集約には集約関数が使用され、バックプロパゲーション学習が使用されます。モデルを最適化することで新しいデータ表現が実現され、ランダム ノード サンプリング アルゴリズムを利用して不規則なグラフ構造データが正規化されてパラメータ共有が実現されます。
ピンセージ。 PinSage アルゴリズムは、大規模なレコメンデーション システム向けにランダム ウォークとグラフ畳み込み演算を組み合わせたものです。ノード サンプリングを通じて計算グラフを構築し、グラフの構造的特徴をキャプチャし、大規模データに対するグラフ畳み込みニューラル ネットワーク モデルのスケーラビリティを向上させます。図 3(c) に示すように、重要度に基づいたノード サンプリング アルゴリズムが提案されています。ランダム ウォーク戦略を使用してノードの重要度を評価し、各ノードで最も重要な k 個のノードをサンプリング ノードとして選択し、重要な操作を実行します。集計プロセス。性的に重み付けされます。
VR-GCN。 VR-GCN は、大規模なグラフ ニューラル ネットワークのパラメーター共有問題を解決し、分散削減を通じて収束を保証し、サンプリング スケールが局所的な最適パフォーマンスに影響を与えないことを証明する新しいサンプリング アルゴリズムです。図 3(d) に示すように、ターゲット ノードの場合、VR-GCN は 2 つのノードのみをサンプリングし、履歴アクティベーション ノードを使用して分散を削減し、推定された勾配のバイアスと分散を大幅に削減します。すべての隣接ノードを考慮する場合と比較して、VR-GCN は 2 つの隣接ノードのみを考慮するため、モデル トレーニングの時間の複雑さとメモリのオーバーヘッドが大幅に軽減されます。
LGCL。 LGCL は、畳み込み演算の要件を満たすようにグラフ データを構造化し、ノード特徴の再構成を通じて不規則なグラフ構造データをユークリッド空間に変換することで、最適化に CNN アルゴリズムを簡単に使用できるようにします。しかしながら、顕著な特徴に基づく再構成方法は、ノード特徴の多様性をある程度まで破壊し、ノード表現の過度の平滑化の問題を悪化させる。図 3(e) を例にとると、サンプリング平均集計方法では、ノードの特徴値が対応する特徴の最大値に近づく傾向があり、最終的にはすべてのノード表現が類似する傾向があり、過度の平滑化が悪化します。グラフ畳み込みニューラル ネットワークの問題。
概要。グラフ ニューラル ネットワークにおけるダイレクト プッシュ トレーニング モデルの制限を考慮して、GraphSage は、1 次および 2 次の近傍をランダムにサンプリングすることで帰納的タスクに適応するノードベースのサンプリング アルゴリズムを提案しました。 PinSage は、重要度ベースのサンプリング アルゴリズムを提案し、ノード集約で重要度の重み付けを実行します。 VR-GCN はサンプリング アルゴリズムの収束に重点を置き、勾配推定のバイアスと分散を低減することでアルゴリズムの収束を向上させます。 LGCL は、フィーチャをフィルタリングして新しいノードに再編成して集約します。
図 3 ノードベースのサンプリング アルゴリズム
3.2 レイヤーベースのサンプリングアルゴリズム
FastGCN 。 FastGCN は、図 4(a) に示すように、グラフ畳み込み演算を確率分布積分形式に変換し、モンテカルロ法を使用して積分値を推定することにより、グラフ ニューラル ネットワークの大規模データ トレーニングにおける時間とメモリのオーバーヘッドの問題を解決します。 FastGCN は、階層サンプリングを使用して隣接ノードの爆発を回避し、サンプリング損失関数と勾配関数に基づいてモデル トレーニングを実行し、重要度サンプリングを通じてパフォーマンスを最適化します。
AS-GON。 AS-GON は、サンプリング ノードの数をレイヤーごとに固定することで、GCN における隣接ノードの爆発問題を回避する適応型階層サンプリング アルゴリズムです。下位層のノードは、上位層のサンプリング結果に基づいてサンプリングされるため、下位層のサンプリング隣接ノードは、できるだけ多くの上位層のノードによって共有される。 AS-GON はまた、接続ホッピングを通じて 2 次の類似性をキャプチャし、接続ホッピング戦略を使用して 2 次の近隣特徴を取得し、追加のサンプリング オーバーヘッドなしで高次の近隣特徴情報を伝播します。
レディース。 LADIES は、ノードベースおよびレイヤーベースのサンプリング アルゴリズムに存在する課題を解決するために設計された新しいサンプリング アルゴリズムです。図 4(d) に示すように、このアルゴリズムは上位ノードとその隣接ノードに基づいて 2 部グラフを構築し、サンプリング確率として重要度スコアを計算し、その確率に従って一定数の隣接ノードを下位ノードとしてサンプリングします。 。計算グラフ全体を繰り返し構築することにより、計算とメモリのオーバーヘッドを効果的に削減できます。
概要。 PastGCNは隣接ノードの爆発を避けるために階層サンプリングによって整数値を推定しますが、疎な接続と冗長ノードの問題があります。 AS-GCN は、明示的な分散削減を通じて収束を保証し、二次相関を捕捉します。 LADIDS は、2 部グラフに基づいて 2 つの隣接するノード層を構築し、階層的重要度サンプリングを実行して隣接ノードの爆発の問題を軽減しますが、グローバル ノードの再利用は制限されています。
図 4 レイヤーベースのサンプリング アルゴリズム
3.3 サブグラフベースのサンプリングアルゴリズム
クラスタ-GCN。 Cluster-GCN は、サブグラフ サンプリング アルゴリズムを通じて GCN バッチ トレーニングの計算効率を向上させます。ノードはクラスター対応分割アルゴリズム Metis を通じて c 個のブロックに分割され、隣接行列は対角行列 A と B に変換されます。 GCN の表現関数は異なるクラスタリング ブロックに分解され、エッジの欠落や推定エラーといった既存の問題はブロックをランダムに組み合わせることで軽減されます。バッチ トレーニングでは、単一のチャンクをトレーニング データとして使用するのではなく、複数のクラスタリング チャンクがバッチごとにランダムに選択されます。
RWT。 RWT は、大規模なグラフ アプリケーションにおける Cluster-GCN の時間と空間のオーバーヘッド問題を解決するために使用されるレイヤーごとのウォーキング トレーニング戦略です。グラフ データはサブグラフ サンプリング アルゴリズムによってバッチに分割され、各バッチでのトレーニング用にグラフ ニューラル ネットワーク モデルが構築されます。サンプリング戦略はランダム性とグラフ構造の接続性を包括的に考慮し、レイヤーごとの拡張方法を採用して、しきい値に達するまで現在のサブグラフの隣接ノードからサブグラフをサンプリングして更新します。 RIWT は GCN と GAT で検証されます。
GraphSAINT。 GraphSAINT は、サンプリングに基づくグラフ ニューラル ネットワーク モデルです。最初にサブグラフをサンプリングしてからネットワーク モデルを構築することで、バッチ トレーニングのバイアスを排除し、バッチの分散を低減します。まず、ノードとエッジのサンプリング確率が推定され、次にサブグラフ サンプリングが各トレーニング バッチで実行され、トレーニング用に完全な GON モデルが構築されます。偏りは正規化法によって排除され、サンプリング アルゴリズムはランダム ウォーク戦略を利用して最適化されます。 Zeng らは、バイアスの除去とエラーの削減によって精度を向上させる GraphSAINT を提案しました。彼らは、サブグラフ サンプリングによるバッチ トレーニングを通じてプログラムの並列性を向上させる並列トレーニング フレームワークを提案しました。サンプラー間およびサンプラー内の並列化により、理論的にはほぼ線形の高速化が実現します。機能の伝播に関しては、データ パーティショニングを使用してキャッシュの使用率を向上させ、通信オーバーヘッドを削減します。さらに、操作の順序を並べ替えたり、バッチ処理グラフを調整したりすることで並列パフォーマンスを最適化する実行時スケジューラを提案しました。
シャドウ GNN。 SHADOW-GNN は、大規模なデータによってもたらされる課題を解決し、過度の平滑化の問題を軽減するために設計されたグラフ ニューラル ネットワーク モデルです。ノード受け入れ領域とグラフ ニューラル ネットワークの深さとの関連を切り離すことにより、過剰な平滑化を回避しながら、深いネットワーク表現機能が実現されます。 SHADOWGNN は、サブグラフ サンプリング戦略を採用してさまざまなサブグラフを形成し、サブグラフに任意の深さのグラフ ニューラル ネットワーク モデルを適用してノード表現を取得します。
概要。 Cluster-GCN は、図 5(c) に示すように、ノード クラスタリングを通じてノード使用率を向上させます。図 5(b) に示すように、RWT はランダム ウォーク戦略を使用してサブグラフをレイヤーごとに拡張します。図 5(d) に示すように、GraphSAINT は推定のバイアスと分散を削減し、モデルのパフォーマンスを向上させることに重点を置いており、SHADOWGNNI63 はグラフ サンプリング戦略を使用してモデルのスケーラビリティを強化し、過度の平滑化の問題を軽減します。
図 5 サブグラフに基づくサンプリング アルゴリズム
Zeng らは、5 つのデータ セットのノード分類タスクにおける 4 つのサンプリング アルゴリズムの精度パフォーマンスを比較しました (表 4)。比較結果は表 5 に示されています。サブグラフベースのサンプリング アルゴリズムは、さまざまなデータ セットでより優れたパフォーマンスを示しました。 E1 指数は高く、分散は小さくなります。 Flickr、Reddit、Yelp、Amazon のデータセットに対する GraphSage のノード分類精度は、サブグラフベースのサンプリング アルゴリズムの精度に近いですが、トレーニング時間は長くなります。
表 4 データセットの統計
表 5 ノード分類のパフォーマンス比較
大規模なデータ トレーニングに存在する課題に対応して、このセクションでは、ノード レベル、階層レベル、サブグラフ レベルのサンプリング アルゴリズムなど、さまざまな粒度 (表 6 を参照) でのサンプリング アルゴリズムをまとめます。これらのアルゴリズムは、大規模なデータトレーニングに存在するメモリ制限の問題をある程度緩和し、モデルのスケーラビリティを高め、重要度サンプリング、分散の削減、ランダムな組み合わせなどを通じてモデルの収束を向上させます。ただし、現在のサンプリング アルゴリズムは主に静的な同型グラフに基づいて最適化されており、実際のアプリケーションにおけるグラフ データの不均一性、ダイナミクス、べき乗則分布などの複雑な特性は無視されています。
表 6 サンプリングアルゴリズムの概要
4 グラフニューラルネットワークフレームワーク
グラフ ニューラル ネットワークの計算プロセスには不規則なメモリ アクセスと複雑な特徴計算が含まれており、従来のフレームワークではグラフ コンピューティングのパフォーマンスが劣っています。この問題に対応して、研究者らはグラフ ニューラル ネットワークのプログラミング フレームワークを提案し、大規模なグラフ ニューラル ネットワーク モデルの操作と最適化の基礎を築くための最適化技術を調査しました。
4.1 グラフニューラルネットワークプログラミングフレームワーク
このセクションでは、表 7 に示すように、ディープ グラフ ライブラリ、PyTorchGeometric、Graph-Learn などの主流のプログラミング フレームワークを要約します。
表 7 グラフ ニューラル ネットワーク プログラミング フレームワーク
4.2 フレームワーク関連の最適化技術
グラフ ニューラル ネットワーク プログラミング フレームワークに関連する最適化技術は、データ分割、タスク スケジューリング、並列実行、メモリ管理などの最適化の側面に応じて 5 つの部分に分かれており、その概要を表 8 に示します。
表8 グラフニューラルネットワークフレームワークに関連する最適化技術
5 まとめと展望
一般的なグラフ ニューラル ネットワーク モデルとその課題の分析。この記事ではまず、グラフ畳み込みニューラル ネットワーク、グラフ アテンション ニューラル ネットワーク、グラフリカレント ニューラル ネットワーク、およびオートエンコーダベースのグラフ ニューラル ネットワークという 4 つの一般的なグラフ ニューラル ネットワーク モデルを紹介し、それに対応して大規模データ アプリケーションにおけるそれらの問題を分析します。モデル層に関連する課題をまとめました。次に、関連する研究を要約し、アルゴリズム モデルとプログラミング フレームワークの 2 つの側面から分析します。
アルゴリズム モデル。 グラフ ニューラル ネットワーク モデルのトレーニングにおける大規模なデータによってもたらされる課題を考慮して、最適化作業のほとんどはサンプリング アルゴリズムに焦点を当てています。このホワイト ペーパーでは、サンプリングの粒度に従って、既存の作業を次のように分割します。ノードベース、レイヤーベース、サブベースのアルゴリズム グラフ サンプリング アルゴリズムには 3 種類あります。サンプリング アルゴリズムの種類ごとに、関連する主要なモデルが導入および分析され、最後に包括的な要約と分析が行われます。
プログラミング フレームワーク。 この記事では、まず DGL や PyG などの主流のプログラミング フレームワークを要約し、次に既存の最適化テクノロジをデータ パーティショニング、タスク スケジューリング、並列実行、メモリ管理などの 5 つのカテゴリに分類します。カテゴリごとに、その最適化目標が簡単に紹介され、具体的な最適化戦略がリストされます。最後に、包括的な要約と分析が実行されます。
先を見据えて。 この記事では、モデルの最適化とフレームワークの高速化という 2 つの側面をカバーし、大規模データのグラフ ニューラル ネットワーク最適化の関連する進捗状況を要約します。以下、図 6 に示すように、これら 2 つの側面からの今後の取り組みに期待します。
図6 将来の仕事の見通し
推奨読書:
2022年のネット就活の現状、金9銀10がもうすぐ銅9鉄10になる！ ！
公開アカウント:AI カタツムリ車
謙虚さを保ち、規律を保ち、改善し続ける
[カタツムリ]を送って「手をつないでAIプロジェクト」(AIカタツムリカート)を入手
[1222] を送信して、適切な leetcode テストノートを入手してください
[AI に関する 4 冊の古典的な書籍] を送信すると、4 冊の古典的な AI 電子書籍が入手できます