青い文字をクリックしてください
私たちに従ってください
AI TIME は、あらゆる AI 愛好家の参加を歓迎します。
汎用人工知能 (AGI) の台頭により、グラフ フィールドはどのような変化を迎えるのでしょうか? グラフ データ処理、グラフ ニューラル ネットワーク、グラフ推論と推奨、グラフ データベース、ナレッジ グラフは、新しい時代の課題にどのように対処するのでしょうか? これらの問題は、私たちが徹底的に議論し、考える価値があります。
2023年8月16日、第17回AI TIME PhDディベートイベント「AIの新時代、グラフ研究はどこへ向かうべきか?」にシンガポールSea AI Lab研究員のLiu Qian氏、同大学博士課程学生のZhu Jing氏を特別招待ミシガン州アナーバー在住のモ・ルオ・リンハオ氏（ナッシュ大学博士課程学生）、ワン・ヘン氏（西安交通大学学部生）、マオ・ハイタオ氏（ミシガン州立大学博士課程学生）である。5 人のゲストは、グラフ分野の最新の研究結果に焦点を当て、革新的な応用事例について議論し、AI 新時代におけるグラフの開発の方向性と展望を共同で探りました。
グラフ フィールドは既存の AGI 開発にどのように役立ちますか?
Liu Gan:これまでグラフ分野では、Bert のような普遍的なモデルが開発されていませんでした。これは、グラフ分野には普遍的な基本単位が欠如しており、基本単位はシナリオごとに異なる意味を持ち、統一することが困難であるためです。異なるグラフ間で共有できる情報を見つけたり、グラフ上の転移学習に関する研究を実施したりすることは、検討する価値のある問題であり、グラフが AGI に関連する可能性がある分野でもあります。しかし、複雑な構造を持つ GNN ネットワーク モデルをトレーニングするのは困難です。NLP の分野では 2 つの方法があり、1 つは変換器を並列に学習させる方法、もう 1 つは変換器の学習層数を深めた後、学習に不安定性はあるものの、まだ学習層を増やす方法です。優れた機能を学ぶチャンス。現在、スケールアップが人工知能の高速化への近道であると一般的に考えられていますが、GNN ネットワークがスケールアップの特性を持たない場合、モデルのトレーニングとグラフ構造の理解が依然として大きなボトルネックとなります。
Mao Haitao:大規模なモデルでは、テキスト情報だけでは不安定ですが、グラフは追加の構造情報を補完し、テキスト モダリティに構造モードを追加することで、大規模なモデルの生成をより堅牢にすることができます。グラフの構造情報はテキスト情報の欠点を補うことができるが、グラフ構造の中から有効な情報をいかに抽出するかが課題となっている。
Luo Linhao:最近の研究のホットスポットは、グラフ構造を理解するためのトランスフォーマーのような構造があるかどうかです。この一連の研究の中核は、ナレッジ グラフ内の構造情報をより適切に増幅して、言語モデルのパフォーマンス向上を支援する方法です。パフォーマンスの向上には 2 つの側面が含まれます: 1 つは、パフォーマンスと言語モデルのグラフ構造の理解を向上させることであり、もう 1 つは、ナレッジ グラフの構造情報を抽出して、言語モデルは特定の特定の機能を強化します。また、常識問答など関連する推論問題の構造は単一のパスではなく、グラフ構造は言語モデルの形で直接理解することができないため、GNNを統合する必要があり、構造化された情報は抽出されて言語モデルに注入され、複雑な推論能力が向上します。
Wang Heng:ソーシャル ネットワークにはロボット アカウントがいくつか存在します。アカウントの検出に既存の言語モデルのみを使用すると、逸脱が生じやすくなります。しかし、グラフ構造を使用して既存の AGI を支援することで、ロボット アカウントの堅牢性を高めることができます。モデル。
Zhu Jing:ナレッジ グラフは、その中の情報はほとんど正しいため、より強力な正則化手法です。しかし、大規模な言語モデルによって出力される情報は完全に正しいとは限らないためです。構造の理解はソフトに正則化されます。将来的には、ソフト正則化と強力正則化の両方が同時に共存できるようになるはずです。
既存の AGI 開発はグラフ フィールドにどのような影響を及ぼしますか?
Luo Linhao:大規模な言語モデル自体には、いくつかの欠点があります。その知識の表現は暗黙的であるため、「幻想」の問題が発生し、事実に反する情報が生成される可能性があります。さらに、私たちは大規模な言語モデルの推論プロセスを知る方法がありません。言語モデル。ナレッジ グラフの構造化表現には利点があり、その知識ストレージは構造化されており、精度が高いため、大規模な言語モデルの機能を向上させることができます。もちろん、大規模な言語モデルにも一定の利点があります。強力なテキスト理解機能と優れた一般化を備えています。これらの特性を利用してナレッジ グラフの不完全性を改善し、それによって LLM を使用してナレッジ グラフが直面するいくつかの課題を解決できます。
Liu Gan: Bert の時代であれば、Bert はグラフ ノードの適切な表現を提供できました。非常にインテリジェントなモデルがあった場合、それをグラフ フィールドで使用すると、予期せぬ機能が得られるでしょう。ナレッジ グラフを LLM に適用するには、言語モデル自体の構造を変更することなく、構造化された情報を維持する必要がありますが、これは難しい問題です。ナレッジグラフは微調整に使用され、繰り返しのトレーニングが必要なため、言語モデルに格納されている知識を新しい知識で更新することを検討します。知識スペクトルは既存の知識を置き換えますが、新しい知識を追加する際の難しさは、対応する保存場所を見つけて、それをほぼ損失のない方法でモデルの重みに追加する方法です。
Zhu Jing: AGI は、グラフの特徴抽出とゼロサンプル学習機能を強化できます。同時に、グラフ推論や推奨の分野でも重要な役割を果たすでしょう。グラフ構造データの深い理解と分析を通じて、AGI はより正確でパーソナライズされた推論と推奨結果を提供することができ、検索エンジン、広告推奨、スマート アシスタント、その他のアプリケーションのユーザー エクスペリエンスと効果の向上に役立ちます。
Wang Heng: AGI の出現により、グラフ データ処理テクノロジの開発が促進される可能性があります。AGI は、複雑なグラフ構造データをよりよく理解して処理できるため、より効率的かつ正確なグラフ分析とグラフ コンピューティング機能を提供できます。これにより、ソーシャル ネットワーク分析、レコメンデーション システム、バイオインフォマティクスなどの分野でより良い結果が得られます。
Mao Haitao:ナレッジ グラフは、知識の表現と整理に使用されるグラフ構造のデータ モデルであり、AGI には、グラフ データベースとナレッジ グラフの革新を促進する可能性があります。AGI の開発は、大規模なグラフ データベースとナレッジ グラフを構築および維持するためのより良い方法とツールを提供し、それによってナレッジ管理とインテリジェントな検索の効率と精度を向上させる可能性があります。
Graph には独自の大規模モデルが必要ですか? 考えられる経路は何ですか?
Zhu Jing:グラフにとって最も難しいタスクは、ノードの分類とリンクの予測です。ノード分類の場合、ノードは一方ではグラフの構造に依存し、他方ではモデル上のラベルの位置に依存します。リンク予測の場合は、構造化された理解タスクを解決する必要があります。したがって、グラフにおける最大の問題は、タスクを定義し、それを理解可能な自然言語に翻訳する方法です。
Luo Linhao:ナレッジ グラフの構造情報は、むしろ事実情報の拡張です。ナレッジ グラフの構造に対する私たちの理解は、本質的にテキスト情報の理解です。ナレッジ グラフの分野からは、次のように統一することができます。しかし、ナレッジ グラフのサイズを調整して大規模なモデルに統合する方法は、より大きな課題となります。グラフ フィールドの場合、各グラフ自体がドメインまたはモデルであり、その特徴表現の次元が異なる場合があります。グラフ モデルは言語モデルのように統一されていない可能性があります。より多くの可能性は、大規模な転移学習の形式に基づいています。異なるモードのグラフの下にあるモデルには、改善と位置合わせ操作が必要です。
Liu Qian:現在、多くの分野で大規模なモデルが多数存在しますが、それらにはいくつかの複雑な問題が含まれており、解決するには多くの分野のスキルが必要です。グラフでも同様のことがあり、分野ごとに異なる基本グラフモデルを作成すると、驚くべき特性を示すことが難しくなります。
Wang Heng:大規模な言語モデルは、自然言語処理やコンピューター ビジョンなどの分野で目覚ましい成果を上げていますが、グラフ分野でも同様の大規模なモデルが必要かどうかは、今後さらに研究され、議論される必要があります。たとえば、グラフ推論には、グラフから隠れたパターンや関係を発見することが含まれますが、グラフ推奨には、グラフから有用な情報を抽出してパーソナライズされた推奨事項を作成することが含まれます。大規模なモデルは、グラフ内の複雑な関係をよりよく理解し、活用するのに役立ちます。これにより、推論の精度と有効性が向上します。そして推奨事項。
Mao Haitao:グラフの最終的な形式は大きなモデルによって統一されることはなく、ソーシャル ネットワーク、市民ネットワーク、友人ネットワークなどの特定の分野における特定の問題を解決するために、より大きなモデルが含まれる可能性があります。
Graph にはより高度なインテリジェンスが必要ですか? Graph フィールドでは将来どのような問題に注意する必要がありますか?
Mao Haitao:より高度なインテリジェンスが必要になるはずですが、LLM の形式で提示できるかどうかは不明です。第一に、グラフ自体が非常に難しいこと、そして第二に、いくつかの問題もあります。知的推論は機械翻訳に例えられると思いますが、現時点での最大の課題は、記号言語と自然言語の間のギャップを解決することです。例えば、自然言語は曖昧で、記号言語は正確です。自然言語は短く、記号言語です。言語は複雑などです。
Wang Heng:大規模な言語モデルは、暗黙的なグラフ構造を持つ新しいタスクで使用されます。非常に重要な潜在的な問題は、大規模な言語モデルが自然言語を使用してグラフベースの推論を実行できるかどうかです。NLGraph データセットを構築することで、さまざまな難易度の 8 つのグラフ推論問題をシミュレートしたところ、大規模な言語モデルには基本的なグラフ推論機能があり、高度なプロンプト手法がグラフ推論に複合的な影響を与えることがわかりました。コンテキスト学習は、難しいグラフ推論問題に取り組むのが難しく、大規模な言語モデルはグラフ推論問題における偽の相関に対して非常に脆弱です。また、後期にはグラフ推論能力を向上させるためのプロンプト手法の提案などの試みも行ったが、単純なタスクには効果があるが、複雑なタスクにはあまり効果が見られないという実験結果が得られている。
Luo Linhao:ナレッジ グラフまたはグラフ構造上で推論操作やパス検索をどのように実行するかは、注目に値する問題です。グラフ構造の制約により、大規模な言語モデル上の推論がグラフ上の推論に変換され、モデル全体がより制御可能になり、これも重要なポイントです。将来的には、グラフにもマルチモーダル要件があり、マルチモーダル情報とグラフ情報を統合するかどうかも、より高度なインテリジェンスを実現するためにグラフが考慮する必要がある問題になる可能性があります。
Liu Gan:グラフにはスパークルなどの独自の言語があります。多くのプログラミング言語は多重効果推論と数値計算に焦点を当てています。グラフ内の数値計算は非常に困難です。Sparkle、SQL、および言語モデルにおけるさまざまな言語の特徴について、最大の違いは、言語モデルが出現する前は、常識は独立した問題であると一般に信じられていたことだと思います。これまで記号言語で表現するのは困難でしたが、言語モデルを使えば簡単に解決できます。したがって、複雑なロジックをより明確に表現できるフォームを設計することは、より良い研究の方向性であり、コード生成と自然言語推論においても研究する価値のある方向性です。
Zhu Jing:将来、グラフの知能は確実に高くなるでしょう。マルチモデルグラフは今後研究される方向性です。マルチモーダル情報とグラフの構造情報を組み合わせれば、より複雑な問題を解決できるかもしれません。問題を推論する作業。
主催: チェン・ヤン
査読者: Liu Qian、Zhu Jing、Luo Linhao、Wang Heng、Mao Haitao
過去号のおすすめ記事
忘れずにフォローしてください！毎日新しい知識が得られます！
AI TIMEについて
AI TIME は 2019 年に設立され、科学的思索の精神を継承し、あらゆる階層の人々を招待して人工知能の理論、アルゴリズム、シナリオの応用の本質的な問題を探求し、アイデアの衝突を強化し、世界的な AI 学者を結びつけることを目的としています。業界の専門家や愛好家は、討論の形で人工知能と人類の未来の間の矛盾を探り、人工知能分野の未来を探ります。
AI TIMEはこれまでに国内外から1,300人以上の講演者を招き、600回以上のイベントを開催し、600万人以上が視聴しました。
私はあなたを知っています。
覗く
おお
～
クリックして元のテキストを読み 、リプレイを表示します。