テキスト分類でGCNとGCNアプリケーション

コンセプト1.GCN

       写真や欧州の構造の他のデータを扱うことができるCNN従来の畳み込みは、非ヨーロッパのソーシャルネットワーク、情報ネットワークのデータ構造を処理することは困難です。C一般的な画像は、構造が非常に規則的であり、行と列W行列チャネルhです。ソーシャルネットワーキング、情報ネットワークは、グラフ理論図(固定点とエッジトポロジを構築する)です。

       直面しなければならない従来のCNN畳み込み寸法は、入力データ、寸法を決定することで、さらに決定されるCNN畳み込み出力データを与えるように処理されます。コンチネンタルコンフィギュレーションデータの周辺構造中の各点は、8つの画素、すなわち、入力された寸法と、各ノードの出力寸法を有する特定の画素の周囲のように固定されて、同じです。欧州のようなソーシャルネットワークの友人として必ずしもデータ構造、A及びBは、友人がn個されているが、必ずしも有するN友人B、各ノードの、すなわち、入力の次元と出力の次元が不明であるしません。

       B寸法後に得られた出力データと出力データの得られた大きさは、処理後の同じノード処理ノードAではないのでCNNは、ソーシャルネットワーキング、および他のデータ処理ネットワーク情報のために使用することができません。ソーシャルネットワーキングを得るためには、情報ネットワークの空間的な特性は、私たちは対処するGCN(グラフ畳み込みネットワーク)を使用します。

2. GCN作品


図の例(ページ画像源[3])。1はGCNあります

       一般異なる畳み込みニューラルネットワークを用いて、入力データがGCN図トポロジ行列であり、行列は、一般的に、トポロジーグラフの隣接行列です。

2.1概念定義

コンセプト 定義
G トポロジーマップがVはノードの集合であり、G =(V、E)として定義され、Eはエッジの集合です。
N 。Nは、図内のノードの数である、すなわち、| V |
F 異なるFの異なる学習課題の特徴ノード番号
バツ ネットワーク初期化行列、Xは、N行および列Fの行列であります
D 接続が存在する場合、図マトリクス、Dijとは、点iと点jを表します。
A 図構造的特徴付け行列、Aは、N行N列の行列であり、Aは、Gの隣接行列が通常であります
こんにちは HiはN行および列Fの行列であり、各出力行列でGCN
Wi 各々のWiにGCNは、重み行列の行F列行列Fであります

2.2 GCN計算

       GCN、第1層1及びH0 = X、ここでその伝播ルール単純なルール、ネットワーク・コンピューティング・スプレッドの層I + 1からi層中:

\ [\開始{アレイは} {1}は、{{\のBF {H}} ^ {iが+ 1}}は、F \の左(= {{{\のBF {H}} ^ I}、{\のBF {A}} } \右)\\ \クワッド\; \; \。左\ = \シグマ({{\のBF {A}}、{{\のBF {H}} ^ I} {{\のBF {W}} ^ i}は} \右)\\ \端{アレイ} \]

       前記活性化関数σは、一般ReLu関数です。これは、必ずしもGCNは、単純なモデルであるが、もちろん、実際のスプレッドはいくつかのルールに従っている、十分に強いてきたルール:

       传播规则2
\ [\開始{アレイ} {1} {{\のBF {H}は} ^ {I + 1}}のF \左({{{\のBF {H}} ^ iは}、{\のBFを{= A}}} \右)\\ \クワッド\; \; \。左\ = \シグマ({{{\のBF {D}} ^ { - \ FRAC {1} {2}}}は{\ BF {A}}、{{\のBF {D}} ^ { - \ FRAC {1 } {2}}}、{{\のBF {H}} ^ I} {{\のBF {W}} ^ I} \右)\\ \端{アレイ} \]

       传播规则3
\ [\開始{アレイ} {1} {{\のBF {H}は} ^ {I + 1}}のF \左({{{\のBF {H}} ^ iは}、{\のBFを{= A}}} \右)\\ \クワッド\; \; \。左\ = \シグマ({\左({{\のBF {I}} + {{\のBF {D}} ^ { - \ FRAC {1} {2}}}は{\ BF {A}}、{{\ BF {D}} ^ { - \ FRAC {1} {2}}}} \右){{\のBF {H}} ^ I} {{\のBF {W}} ^ I} \右)\\ \端{アレイ} \]

       ルール4の普及

\ [\開始{アレイは} {1}は、{{\のBF {H}} ^ {iが+ 1}}は、F \の左(= {{{\のBF {H}} ^ I}、{\のBF {A}} } \右)\\ \クワッド\; \; \。左\ = \シグマ({{{\のBF {D}} ^ { - \ FRAC {1} {2}}} \左({{\のBF {D}} - {\のBF {A}}}右\ ){{\のBF {D}} ^ { - \ FRAC {1} {2}}}、{{\のBF {H}} ^ I} {{\のBF {W}} ^ I} \右)\\ \端{アレイ} \]

       传播规则5
\ [\開始{アレイ} {1} {{\のBF {H}は} ^ {I + 1}}のF \左({{{\のBF {H}} ^ iは}、{\のBFを{= A}}} \右)\\ \クワッド\; \; \。= \シグマ左\({{{{\ BF {\帽子D}}} ^ { - \ FRAC {1} {2}}}は{\ BF {\帽子A}}、{{{\のBF {\帽子D }}} ^ { - \ FRAC {1} {2}}}、{{\のBF {H}} ^ I} {{\のBF {W}} ^ I} \右)\\ \端{アレイ} \ ]

       前記\({\ BF {\ハットA}} {\ RM {=}} {\ BF {A}} {\ RM {+}} {\ RM I} \)、IはN×Nの単位行列であります。そして\({\のBF {\帽子 D}} \) され({\のBF {\ハット\
\ Aは}}) {{$ \ BF {\ハットD}}対角行列であり{II} =} \ SUM \ limits_j {{{{\ BF {\ハットA}}} $の{}}} IJ。

       最後に、学習課題の深さに応じて、対応するGCNのネットワーク出力をカスタマイズすることができます。

テキスト分類におけるアプリケーションの3 GCN

3.1一般的なテキスト分類アルゴリズム

       テキストの分類は、自然言語処理では、より一般的な問題であり、近年では、主に一般的な従来のCNN、LSTM多くの人気に基づくテキスト分類、変換、BERTおよび他の方法、行列の行は、主に、多くの伝統的な分類モデルを扱うますユークリッド構造に言及した論文が、私たちの研究や実用化のシナリオ産業は、多くの場合、こうしたソーシャルネットワーキングなど、情報ネットワークのデータの非ユークリッド構造が発生し、従来のモデルではこの種のデータを扱うことができない、抽出機能がさらに学習、したがって、本論文では、テキスト分類のアプリケーションを記述GCN、GCNに入って来ました。

テキスト分類で3.2 GCN特定のアプリケーション

       まず、我々はテキストコーパス構築トポロジーマップは、ノードは文書や語彙、すなわち、図のノードの数によって、計画を変更します| V | = |ドキュメント| + | VOC | 文書の数を表し、| | | DOC VOC |特急語彙特徴マトリックスXの合計量は、私たちが使用する単位行列、ワンホット形式で表される各ノードの、すなわちベクトルを表し、我々は、文書ノードと語彙のための式に示すように、隣接行列Aを定義する方法を示します我々はTF-IDF重語彙ノード間の権利のため、我々は相互情報表現(PMI、ポイントごとの相互情報を使用することを前記使用権利ノードの重み、 )、 実験で、PMIは現在の単語の総数の二つの用語を上回っ、その式に示すように:
\ {} \左{{}} A_ = \左\ {\アレイ開始{} {} {Lの\のRM PMI}の[IJ({I、J} \右)クワッド\クワッドを\ \クワッド\クワッドiおよびjは言葉とは{\ RM {PMI}} \である左({I、J} \右)> {\ RMを{0} \\ {\のRM {TF - IDF}} \左( {I、J} \右) \クワッド\; \; I jは、文書は言葉であるある\\ 1 \カッド\カッド\カッド \カッド\カッド\カッド\カッド\; \; \; I = J \\ 0 \ カッド\カッド\カッド\カッド\カッド\カッド\カッド\; \; 他の\\ \端{アレイ} \右 \]。

       #W(I)iは固定されてスライディングウィンドウに現れる単語の数を表し、#のW(i、j)が数スライディングウィンドウは、Iに固定されている単語、Jを表し同時に、PMI(i、j)が正の数である場合PMI(i、j)は負の場合単語を表現するとき語彙i、jが強いセマンティック関連を表し、i、jは低セマンティック関連性があり、図は、我々はGCNは2を構築挿入し、構築した後終了しましたGCN、次のように:

       我々は、古典的なクロスエントロピー損失関数が定義されている使用します。

       YDは、タグ付きパケットの歯車の組を表し、YDFはZDF予測カテゴリ、カテゴリラベルを表しています。

       以下は、データソースであり、公共のデータセットのGCNの複数の実験結果を示します。

表1:データセットの要約統計量

       表2にGCNテキスト分類の結果。

表2:テキスト分類でGCNに関する実験結果

       テキスト・ネットワーク(テキストGCN)畳み込みマップと呼ばれるこの新規なテキスト分類方法は、巧みに分類グラフノードに分類問題を文書化します。テキスト-GCNは、グローバルワード共起情報に大漁文書であると限定された文書のラベルを十分に活用することができます。シンプルなダブルテキスト-GCNは、良い結果を達成しています。

リファレンス

[1] Kipf TN、グラフ畳み込みネットワーク[J]とウェリングM.半教師付き分類。arXivののプレプリントarXivの:1609.02907、2016
[2]八尾L、マオC、羅Y.グラフテキスト分類[J]を畳み込みネットワーク。arXivのプレプリントのarXivの:1809.05679、2018
[3] http://tkipf.github.io/graph-convolutional-networks/

おすすめ

転載: www.cnblogs.com/Kalafinaian/p/11440732.html