グラフ ニューラル ネットワークの入門

グラフとは何ですか

グラフの概念を説明するには、有名な 7 つの橋の問題から始める必要があります。つまり、人はどのようにして 7 つの橋を繰り返したり省略したりせずに渡り、最後に出発点に戻ることができるかという問題です。偉大な数学者オイラーは、7 つの橋の問題に答えたときにグラフ理論を作成しました。

 

b7780c039e88500aa91580a027c1a831.png

上の図からわかるように、グラフはノード (Vertices/Nodes) とエッジ (Edge) で構成されます。

G=(V,E)

写真の分類:

 

ae80e8c2d8be4cf1ee015ea2f3fa4913.png

同種グラフと異種グラフの例:

 

6c4943f2ff0c57fca14c0f6214c583ae.png

左側の同型グラフにはノード タイプが 1 つだけありますが、右側の異種グラフには複数のノード タイプがあり、ノード間に複数のエッジ関係があります。

グラフの次数と近傍:

 

e5352fa4da3cfb781caf983fcc7a0002.png

無向グラフの場合、次数はそれに接続されているノードの数であり、近傍はそれに接続されているノードのセットです。有向グラフの場合、方向の制限により、次数は出力次数と入力次数に分割されます。 -度、および近隣は先行近隣と後続近隣に分割されます。

グラフの表現:

隣接行列

 

0fc507e6de51d5bc84c193bc09619287.png

隣接リスト

 

c7461c0077c9afc8ee0aba79a124edb8.png

構造特徴、エッジ特徴、ノード特徴:

深層学習は特徴に基づいており、同様にグラフ学習も特徴に基づいており、グラフには構造特徴に加えて、エッジ特徴と点特徴もあります。グラフ学習の本質は、これらの特徴をマイニングすることです。

 

4f83013a0d1d8abca439f5556b909771.png

たとえば、下の図では、グラフのノードはユーザーと記事です。ユーザー ノードには性別、年齢、職業などの特性を含めることができ、記事ノードにはカテゴリ、単語ベクトルなどの特性を含めることができます。エッジにはクリック頻度や読み取り時間などの特徴を持たせることができ、グラフ学習ではこれらの特徴情報を最大限に活用することができます。

 

132930c7c133b84f0e3ceb325cc2033c.png

図表の応用

写真は複雑なものを説明するための言語です。では、写真の実際の用途は何でしょうか?私たちの現実の生活には複雑なことがたくさんありますが、これらは図で表すことができます。

 

5a6d901ee82d1dee5ffa17c6157db45c.png

例えば、さまざまなソーシャルアプリを通じて形成されるさまざまなソーシャルネットワークを通じて、ソーシャルネットワーク内の人々をグラフノードに抽象化し、人々間の関係をノード間のエッジに抽象化できます。

 

2ed9aea8343e81ddfafc13607158d983.png

私たちが毎日サーフィンするインターネットもグラフであり、各 Web ページがグラフのノードであり、Web ページ間のハイパーリンク関係がグラフの端を構成します。

 

7626d6b7b112fa735249877901707782.png

現在私たちが利用しているさまざまなショッピングアプリにはレコメンド機能が備わっていますが、実はこのレコメンドの仕組みには裏があるのです。

ノード: ユーザーと製品、

エッジ: ユーザーと製品の間の購入、クリックなどの関係。

 

4dd20dbf427155fe6b228928096716ac.png

化学を学んだことのある人なら誰でも、化学分子が単一または複数の原子で構成されていることを知っているため、それぞれの化学分子も抽象化して絵にすることができます。

ノード: アトム、

エッジ: 原子間の相互作用力。化学結合とも呼ばれます。

グラフ学習とは

グラフとは何か、そして実生活におけるグラフの応用についてはすでに説明しましたが、次にグラフ学習とは何かを見てみましょう。

従来、深層学習で使用される学習データには音声、テキスト、画像などがあり、テキストは一次元の文字配列、音声は一次元の配列であるなど、整然とした規則的なデータ構造を持つ構造化データが一般的でした。オーディオ信号の配列、画像はピクセルの 2 次元配列です。

ただし、現実には依然として不規則なデータが多数存在するため、直接モデル化することは困難です。

 

7af98d0d3905dca10aa9930b818c1799.png

 

ace69ce1fb647511b6e22802b94ee0aa.png

上記のような複雑なデータを考慮すると、従来の深層学習モデルでは処理が困難であるため、グラフ学習が登場しました。グラフ学習も深層学習のカテゴリに属しますが、特にこの複雑なグラフ データ構造を対象としています。

一般的なディープ ラーニング:通常のデータの潜在的なパターンを発見するのは得意ですが、不規則なデータを扱うのは困難です。

 

5feae608b06b4f41250915bc575c751e.png

グラフ学習: 不規則なデータ (グラフ) を簡単に処理し、グラフ構造情報を最大限に活用できます。

 

7d4d392508f02ac148db6d904a0f161f.png

グラフ学習の応用

ディープ ラーニングを使用すると、画像の分類、画像内のオブジェクトの識別とセグメント化、音声の翻訳、および製品の効果的な推奨を行うことができます。下の図を考えると、グラフ学習は何に使用できるでしょうか?

 

6f3d8cb75c03197dd34fc46b2203c8ba.png

結論から先に話しますと、グラフ学習では上記のグラフ構造に対して3種類のタスクを実行できます。

 

e10f7f62064d04f88bbdc88043bfe08f.png

最初のカテゴリはノードレベルのタスクで、グラフ学習モデルは特定のノードの属性やカテゴリを与えることができます。

 

12b483f083a314a1b0241fe02e99e82f.png

2 番目のカテゴリはエッジレベルのタスクで、グラフ学習モデルはエッジの重みやエッジが存在するかどうかを予測できます。

 

3055103afe4956e7a37c9de75b215f0b.png

3 番目のカテゴリはグラフ レベルのタスクで、グラフ学習モデルを通じて画像全体のカテゴリを予測したり、2 つの画像の類似性を比較したりできます。

以下に実際のアプリケーションの例をいくつか示します。

ノードレベルのタスク - 金融詐欺の検出:

 

3dc7ccd69847fda97770aa8f59df66f3.png

グラフ内のノードはユーザーと販売者です。ユーザーと販売者にはそれぞれ独自の特性があります。特性に加えて、他者との相互作用、つまりエッジ関係もあります。従来の方法では、ユーザーの特性を通じて分類ネットワークをトレーニングしますグラフを通じて学習することで、ノードの特性を学ぶだけでなく、ノード間のインタラクティブな関係やグラフ構造間の関係も学び、金融詐欺師を分類して発見することができます。

 

604f72f5635d2b1a61920802ccd19dff.png

ノードレベルのタスク - ターゲット検出:

自動運転の分野では、物標の検出は非常に重要なタスクです。これまでは、視覚モデルに基づく画像セグメンテーションと点群に基づくセグメンテーションが主流でした。従来の深層学習モデルに加えて、グラフ モデルも 3D 点からの物標検出を実行できます。雲。

 

6ba51a552a9af2cb9e2d4ba40d14771e.png

まず、点群をグラフ構造に構築する必要があります。点群内の点はグラフ ノードに構築できます。では、エッジを構築するにはどうすればよいでしょうか?点間の距離を計算し、距離のしきい値を設定できます。点間の距離がこのしきい値よりも小さい場合、点間にエッジがあるとみなされ、そうでない場合はエッジは存在しません。

グラフが構築された後、グラフをグラフ学習モデルに入力することができ、モデルは各点が属するターゲット オブジェクトと 3D 境界ボックスを予測します。

 

31db5f13aae11da474796d2845463892.png

エッジレベルのタスク推奨システム:

前述したように、推奨システムはグラフとして表現できるため、推奨プロセスは本質的にエッジ予測のプロセスとなります。

 

d379b9ec3f927754a45bb7c0e1f72362.png

グラフィカル モデルの使用に加えて、推奨システムは、線形代数、確率と統計、およびディープ ニューラル ネットワークを通じて実装することもできます。興味のある学生は、私の以前の記事を読むことができます。

線形代数の本質 (続き 7): レコメンデーション システムにおける線形代数の応用

ニュースレコメンドでは、ユーザーの過去のクリックデータがすでに入手可能であると仮定して、ユーザー B のクリック行動を予測する必要があり、これがエッジ予測タスクです。

 

fdb015bc9f8824c1547032bb5432d25f.png

ユーザー履歴のクリック データを通じてグラフを構築し、そのグラフをグラフ学習モデルに入力し、ユーザー/コンテンツのベクトル空間を取得し、そのベクトル空間を使用して後続のタスクを実行します。

グラフレベルのタスク - 匂い認識:

2 種類の花があり、鼻で匂いを嗅いで種類を識別する必要があるとします。鼻で識別できない場合は、グラフ学習によって識別できます。

 

620b6ba7726b681ebaa536eca6371a09.png

これはどのように行われるのでしょうか?花は空気中に分子を放出します。化学知識によると、異なる分子は異なる匂いを表します。分子はグラフ データ構造にモデル化でき、問題はグラフ分類問題に変換できます。

 

0a6f2f2fd55b68e068a71304857f1ade.png

 

fefe96542b3cc86bf163ba5284d3f1ca.png

上記はグラフ学習の応用例の一部を列挙しただけであり、実際の応用例はこれ以外にもあります。

 

c66bdc050fb9afa0abb0744eda864b06.png

グラフ学習はどのように行われるか

これまでのビジュアル タスクでは、最初に畳み込みニューラル ネットワークを通じて特徴が抽出され、次にその特徴が分類のために全結合層に入力されるか、完全畳み込みネットワークによってターゲット i の検出と画像セグメンテーションが実現されます。グラフ ノード、エッジ、グラフ分類タスク全体?

グラフウォーキングアルゴリズム:

 

e62ca84a08219f6d987fd71b9c3a37a1.png

まず歩行の最大長を設定し、ランダムに点を選択してエッジに沿ってランダムに歩行することで複数のノード列が生成され、これらのシーケンスに対してグラフ表現学習が行われ、次の演算が実行されます。

グラフニューラルネットワーク:

グラフ ニューラル ネットワークのアルゴリズムは、通常、隣接ノードの情報を自身に送信し、その情報を集約し、集約された情報に基づいて自身の表現を更新するメッセージ パッシングを通じて実装されます。

 

c3502b465204c63a64d1a6453539d867.png

上記 2 つの方法以外にもグラフ学習アルゴリズムはありますが、それらについては次回以降の記事で詳しく紹介します。

 

cb0e181ed7f053649575d545a8479aae.png

他の深層学習モデルと比較すると、グラフ学習はまだ比較的難しいですが、学習の難しさを簡素化するために、強力なグラフ学習フレームワークである PGL (Paddle Graph Learning) を紹介します。

 

1d575afec5bf5f6247886ec717782d3e.png

 

おすすめ

転載: blog.csdn.net/qq_39312146/article/details/134478948