ディープラーニングとグラフニューラルネットワーク
近年、さまざまな分野で人工知能やディープラーニングが大きな進歩を遂げています。ディープラーニングの波を最初に起こしたコンピュータービジョン（Computer Vision）の分野から、同じく注目を集めている自然言語処理（Natural Language Processing）やデータマイニング（Data Mining）の分野へ。 、バイオインフォマティクス（図1）、ゲーム（図2）などのさまざまな専門分野に至るまで、人工知能はますますその優位性を発揮しています。
このような人工知能とディープラーニングの進歩の最大の原動力は、次の 2 点に要約できます [1]。
- データの可用性が強化されました。デジタル社会の発展に伴い、ソーシャルネットワーキングや写真共有などのデジタル活動の増加に伴い、利用可能なデジタルデータの規模も増大しており、データベースが提供されています。
- 計算規模の拡大。ニューラル ネットワークの出現により、インテリジェント アルゴリズムの計算規模を完全に拡張して、データ規模の増大に対応できるようになりました。図 3 は、データ量が増加するにつれて、従来のアルゴリズムと小規模ニューラル ネットワークのパフォーマンスが飽和する傾向にあり、アルゴリズムがデータからより多くのメリットを得ることができるように、大規模なニューラル ネットワークに依存する必要があることを示しています。より良い結果、パフォーマンスを達成します。
現在の人工知能の応用をデータの観点から見ると、従来のグリッド データ (画像) とシーケンス データには、画像用の CNN、時系列用の RNN、その他のデータ用の RNN など、それらをモデル化できる一連の成熟したニューラル ネットワークがあります。広く存在するデータ型：グラフ（Graph）も、グラフ関連の問題を解決するために効果的なネットワーク構造を提案し、シリーズ化する必要があります。グラフの例には、ソーシャル ネットワーク、ナレッジ グラフ、時空観測などが含まれ、現実世界のあらゆる側面をカバーします。優れたグラフ ニューラル ネットワークはグラフを効果的に分析して適用することができ、それがもたらす潜在的な利点により、グラフ ニューラル ネットワークの研究は近年の人工知能研究の分野で注目を集めています。
グラフ ニューラル ネットワークの概要
前のセクションを通じて、著者はグラフ ニューラル ネットワークがグラフ構造データに適用される一連のニューラル ネットワークであることを指摘しました。このセクションでは、具体的なグラフ ニューラル ネットワークを紹介する前に、グラフ ニューラル ネットワークの基本的な構造と動作 (モジュール) を概念的に理解したいと考えています。
畳み込みニューラル ネットワークに類似した主流の概念では、グラフ ニューラル ネットワークの基本操作にはグラフ フィルタリング (Graph Filtering) とグラフ プーリング (Graph Pooling) が含まれると考えられており、これらは畳み込みニューラル ネットワークの畳み込みおよびプーリング操作に対応します。[2] を参照すると、グラフ フィルタリング操作とグラフ プーリング操作は、それぞれ図 4 と図 5 で表すことができます。
グラフ フィルタリング操作は、グラフ構造のデータから特徴を抽出するために使用されます。近年のニューラル ネットワークの急速な発展を考慮して、グラフ フィルタリング演算も、畳み込み演算子、ループ演算子、アテンション演算子、ジャンプ接続演算子など、グラフ構造データの基本的な演算子を含むように拡張されています。
補足すると、グラフ構造が複雑または巨大すぎて、上記のグラフ演算では計算量やハードウェアの制約を満たすことが困難な場合、全体の計算を簡略化するためにグラフサンプリング(Graph Sampling)演算を導入する必要があります。一般的なグラフ操作には、ノードごとのサンプリング、層ごとのサンプリング、およびサブグラフごとのサンプリングが含まれます。
グラフ プーリングは、一部の特定のタスクの (グローバル) 機能要件を満たすために、グラフ フィルタリング操作によって抽出された機能をダウンサンプリングすることです。グラフ プーリング操作は、直接 (グローバル) プーリングと階層プーリングに分類できます。これは、複雑または大規模なグラフに応じて行われる区別でもあります。つまり、これらの複雑なグラフ処理を実行するには、階層プーリングが必要になる場合があります。これらのグラフに含まれる豊富な階層情報が失われます。
要約すると、グラフ ニューラル ネットワークの基本構造は次のように表現できます [3]。
参考文献
[1] Andrew Ng、「機械学習への憧れ」、2017 年 [オンライン]。利用可能: https://deeplearning-ai.github.io/machine-learning-yearning-cn/
[2] Yao Ma および Jiliang Tang、「グラフ上のディープラーニング」、ケンブリッジ大学出版局、2021 年。[オンライン]。利用可能: https://cse.msu.edu/~mayao4/dlg_book/
[3] Jie Zhou他。、「グラフ ニューラル ネットワーク: メソッドとアプリケーションのレビュー」、arXiv:1812.08434 [cs, stat]、2021 年 10 月、アクセス日: 2021 年 11 月 1 日。[オンライン]。利用可能: http://arxiv.org/abs/1812.08434