- グラフ ニューラル ネットワークの概念
https://cloud.tencent.com/developer/article/2334518?areaId=106001
https:// blog.csdn.net/qq_44689178?type=blog; まずこのブロガーを参照してください。
このドキュメントでは、マルチビュー グラフ ニューラル ネットワークの学習について紹介します。
マルチビュー グラフ ニューラル ネットワークの比較学習について説明します。
AI ドライブ 90 マルチビュー、比較グラフ クラスタリング。
読む必要があります。
深いマルチビュー学習方法: レビュー
Xiaoqiang Yan a、Shizhe Hu a、Yiqiao Mao a、Yangdong Ye a、⇑、HuiYu b、⇑< a i=2> a 鄭州大学情報工学部、鄭州 450052、中国 b ポーツマス大学創造技術学部、PO1 2DJ、英国
1.1 基本概念
グラフ ニューラル ネットワーク (GNN) [73] は、学習表現の観点からディープ モデルとの相互作用をモデル化する際のグラフの表現能力を調整し、グラフ構造のデータをモデル化する能力にますます注目を集めています。これらは、さまざまなサイズの順列不変グラフを処理し、トポロジカルな近傍から表現を渡し、変換し、集約する反復プロセスを通じて低次元表現を学習します。近年、GNN はソーシャル ネットワーク [74] やナレッジ グラフ [75] などのグラフ構造データ分析で顕著な実績を上げています。まず、GNN の基本的な背景知識を簡単に復習します。 G=fV;Eg がグラフを表し、GNN の入力データを表すものとし、変数 V=fvig と E=feijg がノードとエッジのセットを表すものとします。各エッジ eij=ðvi;VjÞ は vi と vj を接続し、各ノード vi にはその属性を表す特性 xi が含まれます。 GNN の集約プロセスは次のように表現できます。
その中で、変数 .
近年、GNN は、マルチグラフ クラスタリングやマルチビュー グラフの従来型ネットワークなどの MVL シナリオでも優れたパフォーマンスを達成しています。グラフの多視点表現学習を例に挙げます。 Hassani ら [76] は、グラフベースの対照的なマルチビュー特徴学習方法を提案し、ビューの数が 2 を超えて増加してもパフォーマンスが向上しないことを示しました。
グラフ ニューラル ネットワーク学習では、対照学習を使用する場合、ビュー数を 2 つ以上増やしてもパフォーマンスの向上にはつながりません。
図 8 に示すように、この論文のモデルはノードとグラフの 2 つのレベルで実行されます。まず、グラフ拡散法を採用してターゲット ビューの追加グラフ ビューを作成し、2 つの gnn に供給し、続いて共有多層パーセプトロン (MLP) を使用してノード表現を学習します。次に、学習された特徴表現がグラフ プールに入力され、続いて共有 MLP によってグラフ表現が学習されます。
GNN に基づくマルチグラフ クラスタリングは積極的な研究方向であり、近年広く注目を集めています。たとえば、Fan et al. [77] は、コンテンツ情報を使用して複数のビューからグラフ構造を再構築し、ノードの埋め込みを学習できる one2multi グラフ オートエンコーダを設計しました。このモデルは、マルチグラフ オートエンコーダとグラフの自己教師ありクラスタリング メカニズムという 2 つの主要な部分で構成されます。
図 9 に示すように、one2multi はグラフベースのエンコーダ アーキテクチャとグラフベースのマルチビュー デコーダ アーキテクチャで構成され、ヒューリスティック メトリック モジュールを通じて最も有益なビューが選択されます。
世界的貧困分析、分子特性予測、マルチビューカメラの再配置、圧縮アーティファクト抑制を例として、マルチビューGNNのアプリケーションをレビューします。 Khan et al. [78] は、世界の貧困状況を分析するために、グラフ構造のネットワークに基づく畳み込みアルゴリズムを提案しました。このアプローチは、(1) 金融包摂の導入の予測、(2) 貧困線以下で生活しているかどうかの予測、(3) 携帯電話ユーザーの性別の予測の 3 つのタスクに適用されました。分子特性の予測のために、Ma et al. [79] は、次の観察に基づいてマルチビュー グラフ ニューラル ネットワークを提案しました: 原子と結合の両方が分子の化学的特性に大きく影響するため、両方のノード (原子) を利用することが賢明です。式モデルを構築するためのエッジ (キー) 情報。 Xue et al. [80] は GNN を再設計し、CNN と協力して、多視点画像の特徴表現を取得するための特徴抽出および情報伝播プロセスをガイドしました。
1.2 グラフニューラルネットワークと因果学習の組み合わせ
https://cloud.tencent.com/developer/article/1887977
https://hub.baai.ac.cn/view/17067
1.3 グラフニューラルネットワークと大規模言語モデルの組み合わせ
グラフは、引用ネットワーク、ソーシャル ネットワーク、生物学的データなど、現実世界のアプリケーションにおける複雑な関係を表現および分析する際に重要な役割を果たします。最近では、さまざまな分野で大きな成功を収めているラージ言語モデル (LLM) がグラフ関連のタスクにも使用され、従来のグラフ ニューラル ネットワーク (GNN) ベースの手法を超え、最先端のパフォーマンスを達成しています。このレビューではまず、LLM とグラフを組み合わせた既存の手法の包括的なレビューと分析を提供します。まず、グラフ関連のタスク (つまり、エンハンサー、プレディクター、およびアラインメント コンポーネント) で LLM が果たす役割に基づいて新しい分類法を提案します。既存の手法を 3 つのカテゴリに分類します。次に、分類学の 3 つのカテゴリに沿って代表的な手法を系統的に調査しました。最後に、既存の研究に残っている限界について議論し、将来の研究に向けた有望な道筋を強調します。関連する論文が要約されており、URL: https://github.com/yhLeeee/Awesome-LLMs-in-Graph-tasks で継続的に更新されます。
グラフ理論は、現代世界の多くの分野、特にテクノロジー、科学、物流において基本的な役割を果たしています [Ji et al., 2021]。グラフ データはノード間の構造特性を表すため、グラフ コンポーネント内の関係が明らかになります。引用ネットワーク [Sen et al., 2008]、ソーシャル ネットワーク [Hamilton et al., 2017]、分子データ [Wu et al., 2018] などの多くの実世界のデータセットは、基本的にグラフの形式で表されます。の。グラフ関連のタスクを処理するために、グラフ ニューラル ネットワーク (GNN) [Kipf and Welling, 2016; Velickovic et al., 2018] は、グラフ データを処理および分析するための最も一般的な選択肢の 1 つとなっています。 GNN の主な目標は、さまざまな種類の下流タスクに対するノード間の再帰的な情報転送および集約メカニズムを通じて、ノード、エッジ、またはグラフ レベルで表現力豊かな表現を取得することです。
近年、Transformer [Vaswani et al., 2017]、BERT [Kenton and Toutanova, 2019]、GPT [Brown et al., 2020] などの大規模言語モデル (LLM) とそのバリアントは、複数の分野で重要な成果を上げています。 。 進捗。これらの LLM は、ほとんど調整することなくさまざまな下流タスクに簡単に適用でき、感情分析、機械翻訳、テキスト分類などのさまざまな自然言語処理タスクで優れたパフォーマンスを実証しています [Zhao et al., 2023d]。これらは主にテキストシーケンスに焦点を当てていますが、現在、グラフィックス [Chai et al., 2023]、画像 [Zhang et al., 2023b] およびビデオを処理できるようにするために、LLM のマルチモーダル機能を強化することに焦点を当てた研究が増えています。 [Zhang 他、2023a]。
グラフ関連タスクへの LLM の適用により、グラフ、特にテキスト属性に関連付けられたノードを含むグラフの操作方法が大きく変わりました。 LLM と従来の GNN (グラフ ニューラル ネットワーク) を組み合わせると、相互に利点がもたらされ、グラフ学習が強化されます。 GNN は構造情報の取得には優れていますが、主にノードの特徴として意味的に制限された埋め込みに依存しているため、ノードの完全な複雑さを表現する能力が制限されています。 LLM を統合することにより、GNN はより強力なノード機能を取得し、構造情報とコンテキスト情報を効果的に取得できます。一方、LLM はテキストのエンコードには優れていますが、グラフ データの構造情報をキャプチャするのに苦労することがよくあります。 GNN と LLM を組み合わせると、LLM の強力なテキスト理解機能を活用しながら、GNN の構造的関係をキャプチャする機能を活用できるため、より包括的で強力なグラフ学習を実現できます。たとえば、TAPE [He et al., 2023] は、LLM によって生成されるノード (論文など) に関連する意味論的な知識を利用して、GNN の初期ノード埋め込みの品質を向上させます。さらに、InstructGLM [Ye et al., 2023] は、GNN の予測子を LLM に置き換え、グラフのタイリングやヒント (ヒント) の設計などの技術を通じて自然言語の表現力を活用します。 MoleculeSTM [Liu et al., 2022] は、GNN と LLM を同じベクトル空間に配置し、テキストの知識をグラフィックス (分子など) に導入し、それによって推論能力を向上させます。
明らかに、LLM はさまざまな観点からグラフ関連のタスクに重要な影響を与えています。図 2 に示すように、システムの概要をより良くするために、Chen et al. [2023a] のアプローチに従い、LLM がモデル パイプライン全体で果たす役割 (つまり、エンハンサー、プレディクター、およびアライメントコンポーネント）が分類されます。私たちは分類法をさらに改良し、最初のカテゴリにさらに細かい粒度を導入します。
モチベーション。 グラフ関連のタスクでは LLM の使用が増えていますが、この急速に発展している分野にはまだ系統的なレビューが不足しています。 Zhang et al. [Zhang et al., 2023d] は前向きレビューを実施し、グラフと LLM を統合する際の課題と機会について論じた展望記事を発表しました。 Liu et al. [Liu et al., 2023b] は、既存のグラフベースのモデルを要約し、事前トレーニングと適応戦略の概要を説明する別の関連レビューを提供しています。ただし、どちらの記事も包括的な内容の点で制限があり、LLM がどのようにグラフを強化するかに特に焦点を当てた分類が欠如しているという問題があります。対照的に、私たちはグラフとテキストのモダリティが共存するシナリオに焦点を当て、グラフ関連タスクにおける LLM テクノロジーの現状を系統的にレビューして要約するための、よりきめの細かい分類法を提案します。
貢献。この取り組みの貢献は、次の 3 つの側面から要約できます:
(1) 構造化された分類法。この分野の広範な概要は、既存の研究を 4 つのカテゴリに分類する構造化された分類法によって得られました (図 2)。
(2) 総合的な検討。提案された分類法に基づいて、グラフ関連タスクにおける LLM の現在の研究の進捗状況が体系的に説明されています。
(3) 今後の方向性。既存の作業の残りの限界について議論し、将来の可能性のある方向性を指摘します。
エンハンサーとしてのLLM
グラフ ニューラル ネットワーク (GNN) は、グラフ構造データを分析するための強力なツールとなっています。ただし、最も主流のベンチマーク データセット (Cora [Yang et al., 2016] や Ogbn-Arxiv [Hu et al., 2020] など) は、次のような浅層埋め込みを使用して、TAG 内のテキスト情報をエンコードする単純なアプローチを採用しています。バッグオブワード、スキップモデル [Mikolov et al., 2013] または TF-IDF [Salton and Buckley, 1988]。これにより、TAG 上の GNN のパフォーマンスが必然的に制限されます。エンハンサーとしての LLM のアプローチは、強力な LLM を利用してノード埋め込みの品質を向上させることに対応します。派生した埋め込みはグラフ構造に追加され、任意の GNN で利用したり、さまざまなタスクの下流の分類器に直接入力したりできます。当然のことながら、追加のテキスト情報を生成するために LLM を使用するかどうかに応じて、これらの方法を解釈ベースと埋め込みベースの 2 つのブランチに分けます。
予測子としての LLM
このカテゴリの中心的なアイデアは、LLM を利用して、統一された生成パラダイムの下での分類や推論など、幅広いグラフ関連タスクの予測を行うことです。ただし、LLM をグラフ モダリティに適用すると、特有の課題が生じます。これは主に、グラフ データにはシーケンス テキストへの直接変換が欠けていることが多く、グラフが異なれば構造と特徴が異なる方法で定義されるためです。このセクションでは、モデルが LLM で使用する構造的特徴を抽出するために GNN を使用するかどうかに基づいて、モデルを 2 つのカテゴリに大別します。1 つはタイル ベースの予測、もう 1 つは GNN ベースの予測です。
GNN-LLM アライメント
GNN と LLM の埋め込み空間を調整することは、グラフ モダリティとテキスト モダリティを統合する効果的な方法です。 GNN-LLM アライメントにより、エンコーダの埋め込みスペースが特定の段階で調整されるときに、各エンコーダの固有の機能が確実に保持されます。このセクションでは、GNN と LLM を調整するための手法を要約しますが、これは、GNN と LLM の両方に同等の重点が与えられるか、または一方のモダリティが優先され、他方のモダリティがそれほど重視されないかによって分類できます。
結論は
近年、大規模言語モデル (LLM) をグラフ関連のタスクに適用することが、著名な研究分野となっています。このレビューでは、グラフ適応 LLM を適応させるための既存の戦略の詳細な概要を提供することを目的としています。まず、LLM が果たすさまざまな役割 (つまり、エンハンサー、プレディクター、アライメント コンポーネント) に基づいて、グラフとテキストのモダリティを含む手法を 3 つのカテゴリに分類する新しい分類法を導入します。次に、この分類に基づいて代表的な研究を体系的にレビューします。最後に、いくつかの制限について説明し、将来の研究の方向性をいくつか取り上げます。この包括的なレビューを通じて、グラフ学習分野における LLM の進歩と課題を明らかにし、それによってこの分野のさらなる改善を促進したいと考えています。
専門知識と見やすさ
簡単にダウンロードしてください。エキスパート公式アカウントをフォローしてください (上をクリック青専門知識と注意力)
- バックグラウンドでメッセージを返信または送信すると、「GMLM」で「大規模な結合方法」が取得されます。モデルと図?最新の「Graphs Meet Large Language Models」のレビュー。最新の進捗状況を詳しく説明します。**「エキスパート ダウンロード リンク」**
1.4 グラフニューラルネットワークと対照学習
https://mp.weixin.qq.com/s?__biz=Mzg4MzUwNzc5OQ==&mid=2247515476&idx=2&sn=2de2d687375043bc2191d116cd5e9d30&chksm=cf44aa6cf833237a23afb8b845a89 3881f10067aa23b85cc1f0e30cabb8c4f2312d984eaa695&mpshare=1&scene=23&srcid=1128dCfYZCJ7xvo7nA7DO5pz&sharer_shareinfo =5d9c7f606bc76afb5010e250fc31160e&sharer_shareinfo_first=5d9c7f606bc76afb5010e250fc31160e#rd
学習可能なグラフ拡張における近隣対照学習
論文概要
近年、ラベルのないグラフから表現を学習することを目的としたグラフ対比学習 (GCL) が大きく進歩しました。ただし、既存の GCL 手法はほとんどが人工的に設計されたグラフ拡張を採用しており、さまざまなグラフ データセットの影響を受けやすいです。さらに、元々コンピュータ ビジョンで開発されたコントラスト損失がグラフ データに直接適用され、隣接するノードが負のノードとして扱われるため、アンカー ポイントから遠くに押しやられます。ただし、これはネットワークの均一性の仮定に矛盾します。つまり、接続されたノードは一般に同じクラスに属し、互いに近くにある必要があります。この研究では、学習可能なグラフ拡張に近隣対照学習を適用する、NCLA と呼ばれるエンドツーエンドの自動 GCL 手法を提案します。マルチヘッド グラフ アテンション メカニズムを通じて、適応トポロジを備えた複数のグラフ拡張ビューを自動的に学習します。これは、事前のドメイン知識を必要とせずに、さまざまなグラフ データセットと互換性があります。さらに、ネットワーク トポロジを監視信号として考慮することにより、アンカーごとに複数の正の信号を許容する隣接コントラスト損失が設計されます。提案された NCLA では、拡張機能と埋め込みの両方がエンドツーエンドで学習されます。ベンチマーク データセットに対する広範な実験により、ラベルが非常に限られている場合に、NCLA が自己教師あり GCL 上で最先端のノード分類パフォーマンスを生成し、教師あり GCL を上回ることが示されました。
写真
1.5 ネットワークセキュリティの図
信頼できるグラフ ニューラル ネットワーク: 公平性、堅牢性、プライバシー。
Dainyan: 信頼できるグラフ ニューラル ネットワーク: 公平性、堅牢性、プライバシー。
グラフ ニューラル ネットワーク (GNN) は、ソーシャル ネットワーク、交通ネットワーク、タンパク質間相互作用ネットワークなど、さまざまな種類のグラフのモデル化で大きな成功を収めています。ただし、他の深層学習モデルと同様に、GNN の信頼性の問題は大きな注目を集めています。まず、私たちの研究は、GNN がデータ内の差別を増幅する可能性があり、性別、人種、その他の保護された機密属性の公平性の問題につながる可能性があることを示しています。第二に、グラフニューラルネットワーク自体の堅牢性は保証できません。攻撃者は信用リスク評価などの高リスク分野のモデルを簡単に操作し、個人や社会に重大な経済的損失を引き起こす可能性があります。第三に、GNN はメンバーシップ推論攻撃などのプライバシー攻撃 (プライバシー) の影響を受けやすいです。そのため、教師データの個人データ情報が漏洩する危険性があります。これらの弱点は、現実世界、特に金融や医療などのリスクの高いシナリオでの GNN の適用を大きく妨げます。したがって、私たちの目標は、公平性、堅牢性、プライバシーの課題を解決する信頼できる GNN モデルを構築することです。
2. 練習する
https://www.pytorchtutorial.com/pytorch-geometric-for-gnn/；
https://zhuanlan.zhihu.com/p/94491664