図ニューラルネットワークGNN-グラフニューラルネットワーク:方法と応用のAレビュー

機械のブログの転載心:清華は、ニューラルネットワークの概要マップ:モデルとアプリケーション、個人が使用することを学ぶときにだけ、ここを

 

(https://github.com/thunlp/GNNPapers):清華大学、日Maosongは紙GNNが参照できる多くの仕上げについて設定します。

入門

図は、オブジェクトの集合(ノード)とそれらの関係(エッジ)モデリングを有し、データ構造です。近年では、より多くの機械学習方法の研究グラフ分析の構造とより多くの注目の強い表現力ビューに起因します。図ニューラルネットワーク(GNN)は、図中のフィールド情報の処理の深さに基づいてクラスを学習する方法です。理由は、その優れた性能と解釈可能で、GNNダイアグラム解析方法は、最近広く使用されるようになりました。

GNN最初の動機は、畳み込みニューラルネットワーク(CNN)に由来します。CNNは、機械学習の分野におけるブレークスルーの広範なアプリケーションをもたらし、深い学習の新時代を開きました。しかし、唯一のCNNユークリッドルールデータ、画像(2次元グリッド)、およびテキスト(一次元配列)上で実行します。どのようにCNNは、非ユークリッド空間の構成に適用GNNモデルの問題を解決するに焦点を当てました。

 

 図埋め込みGNN(グラフ埋め込み)から別の動機、図ノード学習、低次元のベクトル空間又はサブグラフのエッジ表現。DeepWalk、LINE、SDNEとネットワークを学習の分野における他の方法は、大成功を達成しました。しかし、これらの方法は、より計算的に複雑であり、大縮尺の地図上で、これらの問題に対処するために、GNN最適ではありません。

モデル

モデルのこの部分では、物品はGNNモデルがしかし、まだこのような高い計算の複雑さなど、いくつかの制限がある、最も古典的なマップニューラルネットワークモデルGNNは、特にGNNのモデルと計算を取り上げ紹介し、容量不足を示し、ように。

フォローアップ2.2にGNN異なる変種で詳細な記事を問題GNNのが存在に対処するための作業の多くの。具体的には、物品は、図には、異なるタイプ、異なる情報転送モードと異なるトレーニング方法の変異体の使用に適合導入しました。

2.2.1項では、物品は、チャートを含む、変異体、及びサイド情報を有する異種図図GNN処理の異なるタイプを記述する。2.2.2項では、異なる情報の伝達と変異体についての記事を要約し、要約されています。次の4つのカテゴリに分かれて:

コンボリューション。グラフ畳み込みネットワーク(GCN)は、図の構成データで畳み込みを適用することが望ましい、とスペクトル法空間法(非分光法)のカテゴリに分けられます。スペクトル法は、所望のスペクトル分解を使用し、図のラプラシアン行列は、アプリケーション情報収集ノードを分解。空間法に係る収集情報に直接トポロジー、隣接情報。

注意のメカニズム。グラフ注意ネットワーク情報収集フェーズの描画に使用される注目のメカニズムにコミットされます。

ドア機構。これらの変異体は、ゲートノード更新位相機構に適用されます。ゲーテッドグラフニューラルネットワークノード更新メカニズムはGRUに適用されます。多くの作業は、特定のコンテキストに応じて、それは木LSTM、グラフLSTM LSTMの文に分け、などすることができ、LSTM図の様々なタイプに適用されることにコミットしています。

残留接続。積み重ねられた多層ニューラルネットワーク情報は、ニューラルネットワークの残留メカニズムが適用されるマッピングするために、多くの作業をスムーズに引き起こす可能性がマップに留意し、用紙が異なるハイウェイGNNジャンプ知識ネットワークと2つの処理を記述します。

文章还对于不同的信息传递方式进行了公式化总结。简单来说,信息传递函数主要包括信息收集(agggregation)和节点信息更新(update)两个部分,在表格中列出了每种方法的不同配置。

在 2.2.3 节中,文章介绍了 GNN 的不同训练方法。譬如 GraphSAGE 从附近的邻居收集信息,并且能够应用于 inductive learning 领域;FastGCN 使用了 importance sampling 的方法,使用采样替代使用节点所有的邻居信息,加快了训练过程。 

在 2.3 节中,文章介绍了近年来文献中提出的图神经网络通用框架 MPNN(Message Passing Neural Network)、NLNN(Non-local Neural Network)以及 Deepmind 的 GN(Graph Network)。

MPNN 将模型总结为信息传递阶段和节点更新阶段,概括了多种图神经网络和图卷积神经网络方法。NLNN 总结了很多种基于自注意力机制的方法。GN 提出了更加通用的模型,能够总结概括几乎所有文中提到的框架,并且拥有更加灵活的表示能力、易于配置的块内结构以及易于组合的多模块架构。

应用

GNN 被应用在众多的领域,文章具体将应用分为了结构化场景、非结构化场景以及其他三个类别。

在结构化场景中,GNN 被广泛应用在社交网络、推荐系统、物理系统、化学分子预测、知识图谱等领域。文章中主要介绍了其在物理、化学、生物和知识图谱中的部分应用。在非结构领域,文章主要介绍了在图像和文本中的应用。在其他领域,文章介绍了图生成模型以及使用 GNN 来解决组合优化问题的场景。

 

 

开放问题

文章最后提出了图神经网络领域的四个开放问题:

1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果,然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说,堆叠层数越多,节点考虑的邻居个数也会越多,导致最终所有节点的表示会趋向于一致。

2. 动态图。目前大部分方法关注于在静态图上的处理,对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。

3. 非结构化场景。虽然很多工作应用于非结构化的场景(比如文本),然而并没有通用的方法用于处理非结构化的数据。

4. 扩展性。虽然已经有一些方法尝试解决这个问题,将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。

 

おすすめ

転載: www.cnblogs.com/hansjorn/p/12198485.html