ガイド: 科学技術ネットワークのホットワード、グラフニューラルネットワーク! ！！

研究の背景

従来の深層学習手法はユークリッド空間データの特徴を抽出するために適用され、大きな成功を収めてきましたが、多くの実用的なアプリケーションシナリオのデータは非ユークリッド空間から生成されており、従来の深層学習手法は非ユークリッド空間の処理には効果的ではありません。データのパフォーマンスはまだ満足のいくものではありません。たとえば、電子商取引では、グラフベースの学習システムはユーザーと製品間のインタラクションを使用して非常に正確な推奨事項を作成できますが、グラフの複雑さにより、既存の深層学習アルゴリズムは大きな課題を処理する際に困難に直面します。これは、グラフが不規則で、各グラフには可変サイズの順序付けされていないノードがあり、グラフ内の各ノードには異なる数の隣接ノードがあり、いくつかの重要な演算 (畳み込みなど) が画像内に含まれていて計算が容易であるためです。ですが、グラフでの直接使用には適していません。さらに、既存の深層学習アルゴリズムの中核となる前提は、データサンプルが互いに独立しているということです。ただし、これはグラフには当てはまりません。グラフ内の各データサンプル (ノード) には、グラフ内の他の実際のデータサンプル (ノード) に関連するエッジがあり、この情報を使用してインスタンス間の相互依存関係を把握できます。

基本的な考え方

1. グラフとは

グラフは一般に、順序付けられた 2 つのタプル G=(V,E) で表すことができます。ここで、V はトップセットと呼ばれ、E はエッジセットと呼ばれ、トップセットの要素は頂点 (またはノード) と呼ばれます。エッジセットの要素はエッジと呼ばれます。ノードの次数は、そのノードに直接隣接するノードの数です。図 1 に示すように、グラフはノード間の相互影響関係に応じて、有向グラフ、無向グラフ、重み付きグラフの 3 つのカテゴリに分類できます。

図1 グラフの3つの分類

グラフは、化学分子、通信ネットワーク、ソーシャルネットワークなどのオブジェクト間の関係を表すために使用できます。従来の機械学習における「特徴量、ラベル」のデータ形式とは異なり、グラフで表現されるデータはグラフデータと呼ばれ、各ノードの特徴だけでなく、各ノード間の相互作用関係も含まれます。

2. グラフニューラルネットワーク

一般に、分類やフィッティングのタスクにおいて、グラフデータを入力として使用できるニューラルネットワークは、グラフニューラルネットワークと呼ばれます。グラフニューラルネットワークでは、特定のタスクのさまざまなニーズに応じて、グラフ全体をデータサンプルとして使用することも、グラフ内の各ノードをデータサンプルとして使用することもできます。例: 図 2 では、分子式全体がサンプルとして使用され、グラフニューラルネットワーク分類器が未知の分子式のサンプルラベルを予測するようにトレーニングされています。ノード間の相互関係、未知の分子式のラベルを予測するためにグラフニューラルネットワークをトレーニングしています。ノード。

図 2 グラフレベルのモデル

図 3 ノードレベルのモデル

実装

グラフニューラルネットワークのモデリングのアイデアは畳み込みニューラルネットワークから来ており、その共通点は、特徴抽出のプロセスでそれ自体の特徴だけでなく、その近傍の特徴も考慮され、集約されることで、効率的な特徴抽出。一般に、グラフニューラルネットワークをモデル化するには、空間領域グラフ畳み込みベースの方法とスペクトル領域グラフ畳み込みベースの方法という 2 つのアプローチがあります。

1. 空間マップの畳み込み

図 4 空間マップの畳み込み

空間グラフ畳み込みの中心となるアイデアは、特徴抽出プロセス中にドメイン情報を集約することであり、さまざまな集約方法に従ってさまざまな種類のグラフニューラルネットワークが派生します。NN4G (Neural Networks for Graph) では、各ノードは行列変換後に隣接するノードの特徴を自身の特徴に直接加算して、次の層のグラフネットワークを取得します。NN4G の各ノードは、直接隣接するノード (距離 1) のみを考慮しますが、DCNN (拡散畳み込みニューラルネットワーク) では、各ノードは距離 1、2、... K のノードを同時に考慮します。NN4G と DCNN では、各ノードは隣接するノードと同等に考慮されます (つまり、集約プロセスで同じ重みが与えられます)。MoNET (混合モデルネットワーク) では、2 つのノード間の重みはこれら 2 つの次数によって決まります。ノードが決定されるため、グラフ構造の情報がより十分に活用されます。GAT (Graph Attendee Networks) では、アテンションのメカニズムが導入されており、2 つのノード間の重みはこれら 2 つのノードの特性によって生成されます。GIN (Graph Isomorphism Network) は、空間グラフ畳み込みに基づいて上記のグラフニューラルネットワークを統合します。これは、空間グラフ畳み込みの中心となる概念が各ノードの特性とその隣接ノードの特性の集約であることを意味します。グラフニューラルネットワークの設計に必要な、従うべきいくつかのガイドラインを提案します。

１）それ自身のノードの特性の重みは、隣接するノードと区別するために、隣接するノードの特性の重みとは異なる必要がある。

2) 集約プロセスでは、最大値や平均値を求めるのではなく、すべてのドメインノードの特性を合計する必要があります。

3) 集約後、単一層の完全に接続されたネットワークの代わりに、多層パーセプトロンを使用して特徴を抽出する必要があります。

2. スペクトル領域グラフの畳み込み

グラフ畳み込みニューラルネットワーク GCN(Graph Convolution Network)は、ノードの特性と設計したグラフフィルターをフーリエ変換し、両者を乗算した後、逆フーリエ変換を行うことで畳み込みニューラルネットワークを実現します。グラフニューラルネットワークの有効性に対する強力な理論的サポートを提供します。この理論の証明プロセスは非常に複雑ですが、GCN の形式は非常に単純で、各ノードに行列を変更した後、固定グラフフィルター (このフィルターはグラフの構造にのみ関係します) を掛けるだけで済み、グラフを実現できる畳み込み演算。

図 5 スペクトル領域グラフの畳み込み

要約する

グラフニューラルネットワーク (GNN) は幅広い用途に使用でき、薬物分子や回路ネットワークなどの明示的な関連構造を持つデータだけでなく、画像やテキストなどの暗黙的な関連構造を持つデータも処理できます。近年では、生化学分野における分子指紋認識、医薬品の分子設計、疾患分類など、交通需要予測、交通分野における道路速度予測、コンピュータなど、さまざまな業界の課題解決にGNNが活用されています。画像処理分野では対象検出、視覚推論など、自然言語処理分野では物関係抽出、関係推論など。

グラフニューラルネットワークを理解するための記事 ()