構造的知識と常識的知識に基づく少数ショットナレッジグラフ完成に関する調査
タイトル: 構造的知識と常識的知識に基づく少数ショットナレッジグラフ完成に関する調査
リンク: https://arxiv.org/abs/2301.01172
著者: Haodi Ma、Daisy Zhe Wang
所属機関: フロリダ大学
1. 概要:
ナレッジ グラフは、さまざまな自然言語処理アプリケーションの重要なコンポーネントになっています。Common Sense Knowledge Graph (CKG) は、エンティティと関係が自由形式のテキストで構成される特別なタイプの KG です。しかし、以前の KG 完了と CKG 完了作業は両方ともロングテール関係と新規関係があり、トレーニング用のトリプルはあまり知られていません。そこで、ラベル付きデータが限られているという問題を解決するために、グラフ表現学習と少数ショット学習の利点を必要とする Few-Shot KG Completion (FKGC) が提案されています。このペーパーでは、この種のタスクに対するこれまでの試みの包括的な概要を、一連の方法とアプリケーションの形で提供します。具体的には、まず FKGC チャレンジ、一般的に使用される KG および CKG を紹介します。次に、既存の研究成果を知識幾何学の種類と手法から体系的に分類してまとめます。最後に,さまざまな分野の予測タスクにおけるFKGCモデルの応用を紹介し,FKGCの将来の研究の方向性を展望した。
2. はじめに:
今日の大規模な KG には大量の情報が保存されていますが、それらは非常に不完全であるため、ナレッジ グラフ補完 (KGC) が下流のアプリケーションにとって課題となっています。最近の傾向は、ミッシングリンク予測のためにエンティティと関係の低次元表現を学習することを目的としています [(Bordes et al., 2013; Trouillon et al., 2016; Dettmers et al., 2017)]。これらの方法の一般的な考え方は、KG の既知の事実に基づいてエンティティ間のさまざまな関係パターンをモデル化して推論することです。たとえば、TransE は関係を翻訳としてモデル化し、反転パターンと合成パターンをターゲットにします。回転は表現として機能し、そこから対称、非対称、反転、複合パターンを推測できます。
ただし、このような方法では通常、すべての関係が埋め込みを学習するのに十分なトレーニング トリプルが必要です。以前の研究 [78] では、KG 関係の大部分がロングテールであることが示されました。たとえば、ウィキデータのリレーションの約 10% には 10 個以下のトリプルがあります。さらに、現実世界の KG は通常動的であり、新しい知識が得られるたびに新しい関係とエンティティが追加されることを意味します。これらの課題に対処するには、モデルは少数の例のみを与えて新しいトリプレットを予測できる必要があります。
上記の課題に対処するために、少数ショット知識グラフ補完 (FKGC) 用の 2 つのベンチマーク、NELL-One と Wiki-One、および GMatching と呼ばれるベースライン モデルが提案されています。このモデルでは、クエリ関係ごとに少数のサンプルのみを使用して高価なエンティティ表現を学習するために、ローカル近隣エンコーダーが導入されています。最近の研究のブランチも同様のアプローチに従っており、埋め込み品質を向上させるためにローカル グラフの隣接要素を考慮することで優れたパフォーマンスを実現しています。彼らはさらに、隣接するエンティティは、異なるタスク関係に関連付けられた異なる影響を与えるべきであると主張しています。関係があいまいになる可能性があるため、参照トリプルも特定のクエリに対して異なる形で寄与する必要があります。たとえば、図 1 に示すように、タスク関係が isPartOf である場合、この関係は、組織関連 (リバプール、isPartOf、プレミア リーグ) または場所関連 (ゲインズビル、isPartOf、フロリダ) など、さまざまな意味を持ちます。クエリ (Dallas、isPartOf、Taxes) では、位置関連の参照は他の参照よりも影響力が大きいはずです。これらのモデル [43, 54] は、アテンション ネットワークを使用してエンティティと参照の動的プロパティをキャプチャすることを提案しています。
FKGC モデルの別のトラックは、モデルに依存しないメタ学習 (MAML) に基づいて開発されています。
これらのモデルは、メタ学習の学習プロセスを利用して、エンティティの表現埋め込みと少数のインスタンスのみを含む関係を学習します。特に、トレーニング セットで高頻度の関係を使用してメタ情報を取得します。メタ情報には、さまざまなタスクにわたる関係に共通する特徴が含まれます。メタ情報によって提供される適切なパラメーター初期化により、これらのモデルは、各タスク関係が少数のインスタンスのみで提供されるテスト タスクに迅速に適応できます。
一方、特殊な種類のナレッジ グラフとして、エンティティと関係が自由形式のテキストで構成される ATOMIC や ConceptNet などのコモンセンス ナレッジ グラフ (CKG) は、埋め込みベースのモデルからはあまり注目されていません。これは、目に見えないテキストを含むエンティティが継続的に導入されるため、FKGC の自然なベンチマークになります。さらに、CKG 内のエンティティと属性は通常、自由形式のテキストです。図 3 に示すように、構造化されたエンティティ名と関係名を持つ一般的な KG とは異なり、CKG 内のエンティティの説明には豊富な意味論的な意味があり、暗黙的な意味論的な関係から常識的な知識を直接推論できますが、この機能により CKG と一般的な KG も作成されます。同じ概念を異なるノードにすることもできます。[67] に示されているように、FB15K-237 と比較すると、ConceptNet と ATOMIC の平均入次数はわずか 1/15 と 1/8 です。CKG は 2 つのエンティティのスキーマを関係と比較するのには完全には適していないため、埋め込みベースの方法は暗黙の常識知識を取得することに限定されます。
一方、トランスフォーマーベースのコンテキスト言語モデルのトレーニングにおける最近の進歩により、言語モデル (LM) を知識ベースとして使用することへの関心が高まっています。たとえば、最近の研究では、ヒント (たとえば、「ビートルズは __ 年に結成されました」) を使用して LM をクエリすることに焦点を当てています。COMET は、ヘッド エンティティ上の目に見えないテール エンティティの状態と ATOMIC 上の関係を予測するためにトレーニングされたトランスフォーマー ベースの KG 完了モデルです。BertNet はさらに一歩進んで、FKGC/KGC タスクの最初のヒントを自動的に解釈することで、事前トレーニングされた言語モデルから直接、目に見えないエンティティのトリプルを抽出します。
最後に、この研究では、データ サイエンス、視覚的抽出、医療コミュニティにおける FKGC モデルの典型的なアプリケーションを取り上げます。現在のモデルで観察された弱点に基づいて、一般知識グラフと常識知識グラフに関する FKGC の将来の研究の方向性についてさらに議論します。
3. 予言:
このセクションでは、まずさまざまな KG を確認します。次に、ナレッジ グラフの完了と少数ショットのナレッジ グラフの完了を正式に定義します。このセクションの最後の部分では、FKGC タスクで広く使用されている少数ショット学習とメタ学習について簡単に紹介します。
3.1 ナレッジグラフ
E と R がエンティティとリレーションのコレクションを表し、ナレッジ グラフ G = {(푒푖, 푟푘, 푒푗)} ⊂ E × R × E はファクト トリプルのコレクションです。ここで、E はエンティティのコレクションを表し、R は関係のコレクション。푒푖 と 푟푘 は、それぞれ 푖 番目のエンティティと 푘 番目の関係です。通常、푒푖 と 푒푗 を先頭エンティティと末尾エンティティと呼びます。ナレッジ グラフは、G の隣接テンソルと呼ばれる X ∈ {0, 1} | E|×|R |×|E| として表すこともできます。トリプレット (푒푖, 푟푘, 푒푗) が true の場合、(푖, 푗, 푘) 項目 X푖, 푘, 푗 = 1、それ以外の場合は X푖, 푘, 푗 = 0 となります。 表 1 2.1.1 構造化知識 図は次のとおりです。一般的に使用される KG とそのソース、サイズ、例のリスト。
前述したように、これまでの研究では、半構造化テキストを抽出してナレッジ グラフを構築する傾向がありました。これらのナレッジ グラフは通常、クラウドソーシングによって構築されるか、クラウドソーシングから抽出されます。
Freebase は、2008 年に初めて導入されたクラウドソーシングでキュレートされた KG であり、KG の完了を含む多くのタスクの標準ベースライン KG として使用されてきました。Freebase の最新の完全バージョンには、約 30 億のトリプルと約 5,000 万のエンティティが含まれています1。広く使用されている Freebase サブセット FB15K-237 には、14541 個のエンティティ、237 個の関係、および 272,155 個のトレーニング トリプルを含む、Freebase からの逆関係が除外されています。Freebase に含まれる関係は階層的であり、明確に定義されたエンティティおよび関係空間を形成し、埋め込みモデルのスレッドを動機付けます。
ウィキデータはクラウドソーシングの KG でもあり、約 7,800 万のデータ項目、約 23,000 のタイプ、および 1,600 の関係が含まれています。当初から、Wikipedia の情報を管理する代替方法として設計されました。ウィキデータは事実情報を提供するだけでなく、ソースを保存することで事実のコンテキストも提供します。2014 年の時点で、ウィキデータは 287 の言語をサポートしています。2014 年、Google は Freebase に保存されていたデータを Wikidata に移動しました。ウィキデータ内のエンティティと関係は、属性と値のペア (YAGO) によって記述されます。YAGO は、Wikipedia から自動的に構築される大規模な知識ベースです。ナレッジ グラフは、10 の異なる言語での Wikipedia の情報を 1 つに結合して、多言語の知識を提供します。また、空間的および時間的情報を多くのファクトに付加し、ユーザーが空間と時間を超えてデータをクエリできるようにします。YAGO は Wikipedia から構築され、Wikipedia の階層を継承し、エンティティと関係に構造化テキストを使用します。YAGO2 や YAGO3 など、YAGO には複数の反復があります。YAGO3 には、8,700 万のファクト、1,080 万のエンティティ、および 7,600 万のキーワードが含まれています。
3.1.2 常識知識グラフ
常識知識グラフとは、下流アプリケーション用の常識知識またはドメイン固有の知識を整理することを指します。既存の CKG も人間によってクラウドソーシングされることがよくありますが、エンティティには自由形式のテキストが使用されます。
ATOMIC データセットには 877,000 のタプルが含まれており、特定のイベントの合図 (例: 「X は店に行った」) に関するさまざまな常識的な社会知識をカバーしています。ATOMIC には、if-then 関係で編成された日常の知識エンティティが含まれています。合計 300,000 を超えるエンティティが含まれており、エンティティは平均 4.4 単語のテキスト説明で構成されています。具体的には、ATOMIC はその常識を 9 つの次元にわたって抽出し、イベントの原因 (例: 「X さんはそこに車で行く必要がある」)、そのエージェントへの影響 (例: 「食べ物を取りに行く」)、および他の直接的なイベントへの影響をカバーします。 （または暗黙の）参加者の影響（例：「他の人が餌を与えられる」）。
ConceptNet は 、自然言語の単語やフレーズをラベル付きエッジで接続する多言語ナレッジ グラフです。その知識は、専門家が作成したリソース、クラウドソーシング、目的を持ったゲームなど、多くの情報源から集められています。さまざまな言語の単語やフレーズを使用して言語を理解するための一般的な知識を表します。このような「概念」は、自然言語アプリケーションが人々が使用する単語の背後にある意味をよりよく理解するのに役立ちます。ConceptNet には、これらの概念間の 1,300 万以上のリンクが含まれています。
Visual Genome は 自然言語リソースを使用するだけでなく、画像から常識的な知識を収集します。オブジェクト、属性、各画像との関係に関する高密度の注釈を収集して、知識を構築します。具体的には、Visual Genome には合計 100,000 を超える画像が含まれており、各画像には平均 21 個のオブジェクト、18 個の属性、およびオブジェクト間の 18 個の関係があります。オブジェクト、属性、および関係は画像から抽出されるため、データセットは WordNet [41] シンセットを使用してそれらを分類します。このセクションでは、まずさまざまな KG を確認します。次に、ナレッジ グラフの完了と少数ショットのナレッジ グラフの完了を正式に定義します。このセクションの最後の部分では、FKGC タスクで広く使用されている少数ショット学習とメタ学習について簡単に紹介します。
3.2 少数ショットのナレッジグラフの完成
3.2.1 ナレッジグラフの完成
Knowledge Graph Completion (KGC) の目標は、G 内の有効だが観測されていないトリプルを予測することです。形式的には、先頭エンティティ ei (末尾エンティティ ej ) と rk の間の関係が与えられると、モデルは G で最も妥当なトリプル (푒푖、푟푘、푒푗) を形成する末尾エンティティ ej (先頭エンティティ ei ) を見つけることを期待します。KGC モデルは通常、各トリプレット (ei , rk , ej ) ∈ E × R × E のトリプレットの合理性を表すスコア関数 푓: E × R × E → R を定義します。
3.2.2 ナレッジグラフの埋め込み
Knowledge Graph Embedding (KGE) は、高次元ベクトルでモデル化できる明確に定義された空間にエンティティと関係を投影することを提案します。知識埋め込み (KGE) モデルは通常、各エンティティ ei と関係 rj を埋め込み空間内のベクトル表現 ei,rj に関連付けます。次に、エンティティと関係の間の相互作用をモデル化するためのスコアリング関数を定義します。
KGE モデルは一般に、並進モデルと双線形モデルに分類できます。代表的な変換モデルは TransE で、エンティティ間の関係をエンティティ間の埋め込み間の差異としてモデル化します。このアプローチは、合成パターン、非対称パターン、反転パターンの推論にはうまく機能しますが、1 対 N、N 対 1、NN の関係は処理できません。RotatE は、対称関係をキャプチャできるように複素空間内の回転として関係をモデル化しますが、それ以外の点では TransE と同様に制限されます。ComplEx は、双線形モデルの代表として、反対称性を捉えるために複素数を含む対角行列を導入します。BoxE や HAKE などの他のモデルは、複雑な KG 埋め込みを使用して複数のタイプのリレーショナル スキーマを表現できます。
3.2.3 グラフニューラルネットワークモデル
近年、KGC タスクではグラフ ニューラル ネットワーク (GNN) が大きな注目を集めています。GNN の高い表現力により、これらの手法は優れたパフォーマンスを示します。ただし、SOTA GNN ベースのモデルは、KGE モデルと比較して大きな利点を示さず、計算がさらに複雑になります。たとえば、NBFNet と RED-GNN は、KGC ベンチマークで競争力のあるパフォーマンスを達成しますが、ナレッジ グラフ全体に伝播する必要がある Bellman-Ford アルゴリズムを利用するため、アプリケーションが大規模なグラフに限定されます。
3.2.4 少数ショット学習
フューショット学習 (FSL) は、限られたラベル付きデータを使用した新しいタスクについて、既存のタスクから転送可能な一般事前確率を学習することに焦点を当てています。通常、モデルが新しいタスクに迅速に適応できるように、タスク全体をトレーニング サンプルとして扱うメタ学習フレームワークが採用されています。具体的には、一連のタスク T とそのトレーニング データが与えられた場合、メタトレーニング フェーズでは、モデルは T 内のすべてのタスクに有効なグローバル パラメーター Θ' を学習することを目的としています。
ここで、p(T ) はタスク分布、DTi はタスク T> のトレーニング データ、L は下流タスクの損失関数です。次に、メタテスト フェーズでは、新しいタスク Tj に迅速に適応するために、θ* が初期化パラメーター (事前知識) として使用されます。
ここで、Tj には限られたラベル付きデータしかありません。従来の FSL 手法は一般に、(1) タスク固有の類似性測定を利用してサポート セット データからクエリ データまで一般化するメトリック ベースの手法、(2) タスクに依存したモデル パラメータを見つけて、基本学習者は、少数の勾配更新で新しい数回のショットのタスクにすぐに適応できます。
3.2.5 小規模サンプルのナレッジマップの完成
KGC と FSL の定義に続き、Few-shot Knowledge Graph Completion (FKGC) を正式に定義します。
ナレッジ グラフ G = {(ℎ, r, t)} ⊂ E × R × E はファクト トリプルのセットであり、E はエンティティ セットを表し、R は関係セットを表します。関係 r ∈ R とそのサポートセット Sr = {( hk , tk )|(hk, r, tk) ∈ T } が与えられた場合、タスクは末尾エンティティ t ∈ を含むトリプレット (ℎ, r, t) を完成させることです。 Eが欠落しています。言い換えれば、モデルは、(ℎ, r) が与えられた候補エンティティ C のセットから t を予測する必要があります。|Sr| = K で、K が非常に小さい場合、このタスクは K ショット KG 完了と呼ばれます。極端なケースは k = 0 の場合で、これはサポートされるトリプルが存在しないことを意味します。このようなタスクは、帰納的 KGC、ゼロショット KGC、またはグラフ外 KGC とも呼ばれ、モデルは目に見えないエンティティの正しい関係を予測する必要があります。
少数ショット KGC モデルは、本物のエンティティを偽の候補エンティティよりも高くランク付けすることを目的としています。FKGC では、各トレーニング タスクは関係 r ∈ R とそれ自体のサポート/クエリ エンティティのペア、つまり Tr = { Sr , Qr } に対応します。前述したように、S には K ショット サポート エンティティのペアが含まれています。Qr = {( hm , tm )/ Chm ,r} は、すべてのクエリと、エンティティ タイプの制約に従って選択された対応する候補 Chm ,r で構成されます。さらに、トレーニング内のすべてのタスクをメタトレーニング セット Tmeta-training として表します。
メタトレーニング セットでトレーニングした後、新しい関係 r' ∈ R' を予測することによって、少数ショット学習モデルがテストされます。テスト関係はメタトレーニング セットからは見えません、つまり R ∪ R' = ∅。テストフェーズの各関係には、メタトレーニングの定義と同様に、少数ショットのサポートとクエリセット Tr ' = { Sr ', Qr '} もあります。テスト対象のすべてのタスクをメタテスト セット Tmeta-testing として示します。このモデルは、Tmeta-training と Tmeta-testing 以外のすべての関係を含む G のサブセットであるバックグラウンド KG G' にもアクセスできます。
4.FKGCモデル
通常、構造知識を備えた FKGC モデルは、KGC モデルとさまざまなアプリケーション向けの少数ショット学習を組み合わせます。KGE モデルに加えて、GNN ベースの手法も、各少数ショット タスクのサポート セットで提供されるラベル付きデータが限られているため、FKGC で競合するパフォーマンスを示します。一方、意味論的特徴を利用するモデルは、ヒントを活用して構造情報と意味論的情報を組み合わせます。
FKGC タスクには主に 3 つの課題があります。
• (1) 数ショット設定で 3 つの要素の中で最も代表的な情報をどのように学習するか? 一般的な機械学習アルゴリズムではモデルのトレーニングに大量のデータが必要ですが、ショット数が少ないシナリオでは参照データがわずかしか利用できません。限られたトリプルからさまざまな関係の代表的なパターンを学習することが、FKGC 問題を解く鍵となります。
• (2) 背景のある幼稚園への過度の依存を減らすにはどうすればよいですか？以前のほとんどの少数ショット手法は、エンティティ近傍または事前トレーニングされたエンティティ埋め込みからの情報にアクセスするためにバックグラウンド KG に依存しています。最近のモデルの中には、完全な背景知識グラフに常にアクセスできるわけではなく、それをメモリに保存することもスペースを大量に消費すると主張するものがあります。
• (3) ネガティブサンプルを使用してモデルのパフォーマンスを向上させるにはどうすればよいですか? 最も直観的なマッチング方法は通常、クエリとネガティブ参照の間の類似性を無視して、クエリとポジティブ参照の間の類似性を比較します。これにより、トリプレット妥当性測定の精度を向上させることができます。
このセクションでは、構造知識を備えた最近の FKGC モデルを、FSL 手法の採用方法と上記 3 つの問題への対処方法に応じて、メトリックベースの手法と最適化ベースの手法に体系的に分類します。次に、ヒントベースの構造モデルから、事前トレーニングされた言語モデルを利用するモデルに移行します。FKGC とそのオープンソース データセット/コードの代表的なリストを表 2 に示します。
4.1 メトリックベースのアプローチ 既存のメトリックベースの FKGC モデルは、マッチング ネットワークまたは変換ネットワークのフレームワークを共有しています。
マッチング ネットワーク上に構築されたモデルの場合、最初に GNN ベースのエンティティ エンコーダーを実装してエンティティの埋め込みを生成します。次に、集約モジュールがサポート セット内のエンティティ ペアに適用され、各関係の埋め込みが計算されます。最後に、モデルはサポート トリプレットとの類似性に基づいて、各クエリ トリプレットの受け入れ確率を計算します。TransE や ConvE などの KGE モデルも、他の情報をさらに強化するための中間表現としてエンティティ エンコーダーで広く使用されています。
このフレームワークに従って、Gmatching はワンショット KGC 問題に対処する最初の作品です。まず、ローカル グラフ構造を利用してより良いエンティティ埋め込みを生成する近傍エンコーダーを提案します。ここでの動機は、以前の KGE モデルのエンティティ埋め込みは関係情報をエンコードできるものの、パスなどの構造パターンを明示的にモデル化することが依然として関係予測に利益をもたらすことが以前の研究で示されているということです。GMatching の隣接エンコーダは、大規模なナレッジ グラフに対する汎用性を保証するために、指定された各エンティティ、つまり (関係、エンティティ) タプルのセットのシングルホップ隣接のみをエンコードします。具体的には、GMatching は、シングルホップ隣接セット内の各タプルに対する事前トレーニングされた KGE 埋め込みから開始して、フィードフォワード層を適用して、各タプル内のリレーションとエンティティの間の相互作用をエンコードします。次に、近隣エンコーダがサポートおよびクエリエンティティのペアに適用されて、各表現が生成されます。次に、モデルは LSTM ベースの再帰処理ブロックを利用して、参照ペアと各クエリ ペア間のマルチステップ マッチングを実行します。一致スコアは最終的に、各クエリの候補セット内の各エンティティをランク付けするために使用されます。この研究では、FKGC タスクに関する最初のベースライン モデルを提案することに加えて、広く使用されている 2 つのベンチマーク、NELL-One と Wiki-One も提示しています。どちらも FKGC タスク設定を使用して構築されています。表 3 とセクション 4.2 に、さらなる統計と詳細が記載されています。
同じ考えを共有して、FSRL は Gmatching を数ショット設定まで拡張します。さらに、エンティティの埋め込みを強化するための異種グラフ構造とアテンション メカニズムに基づいた、関係を認識した異種近傍エンコーダを提案します。これにより、モデルはタスク関係に対する異なる近傍のさまざまな影響をエンコードできます。ここでの主な議論は、異なる隣接タスクが異なる方法でタスク関係に影響を与えるべきであるということですが、GMatching のようなモデルはこれを無視します。たとえば、ParentOfperson がタスク関係である場合、近隣者 (MarryTo、Melinda Gates) の重みが (CeoOf、Microsoft) よりも高くなければなりません。この問題に対処するために、FSRL では、すべての近傍をエンコードするときに異なるアテンションの重みを割り当てることでエンティティの埋め込みを生成するアテンション モジュールを導入しています。
アテンションネイバーエンコーダを適用することにより、FSRL はサポートセット内の各エンティティペアの表現を取得します。次に、関連タスクごとにサポート エンティティのペア間の相互作用をモデル化する RNN ベースのアグリゲーターを実装し、サポート セット全体の情報表現を生成します。FSRL は、リカレント ニューラル ネットワークを使用してノード エンベディングを集約することにヒントを得て、すべてのエンティティ ペアに再帰的オートエンコーダー アグリゲーターを適用します。参照セットの埋め込みを定式化するために、エンコーダーのすべての隠れ状態を集約し、残差接続とアテンション ウェイトを追加することでそれらを拡張します。
FSRL は、参照セットの集約表現を通じて、マッチング ネットワークを適用して、参照セットの類似したエンティティのペアを検出します。各参照エンティティ ペアをクエリ ペアと比較する代わりに、LSTM セルを備えた同様のリカレント マッチング プロセッサを使用して、最終的な回答ランキングのために参照セットとクエリ エンティティのペア間の類似性を直接計算します。トレーニング中、モデルは毎回タスク関係をサンプリングし、そのタスクに合わせてモデルを最適化します。モデルは、サポート セットとして少数のエンティティ ペアとクエリ エンティティ ペアのバッチをサンプリングします。ネガティブ トレーニング セットは、クエリ エンティティ ペアの末尾エンティティを汚染することによって構築されます。メタ学習はパラメータ最適化の勾配降下ステップで使用されるため、FSRL は少数ショットの関係のテストに適しています。
FSRL は、中央エンティティとの関連性に基づいて隣接要素を異なる方法で扱うことを提案していますが、それでもすべてのタスク関係においてすべての隣接要素に固定の重みを割り当てます。このようなソリューションでは、静的エンティティがさまざまなタスクに埋め込まれることになり、システムの有効性が損なわれます。FAAN はさらに一歩進んで、隣接するエンティティは異なるタスク関係に対して異なる影響を与えるべきだと主張しています。たとえば、SteveJobs はタスク関係 HasJobPosition および HasChild に関連付けられています。直観的には、タスク関係が CEOOf である場合、モデルは家族の役割よりもエンティティ SteveJobs の仕事の役割に注意を払う必要があります。
さらに、タスクの関係は、コンテキストによって異なる意味を持つ可能性があります。たとえば、図 1 に示すように、タスクの関係が isPartOf である場合、この関係には、(リバプール、 isPartOf、プレミア リーグ) などの組織関連、または (ゲインズビル、 isPartOf 、フロリダ）。明らかに、クエリ (Dallas、isPartOf、Taxes) では、位置関連の参照が他の参照よりも影響力が大きいはずです。したがって、参照 (サポート) トリプルも、クエリごとに異なる形で寄与する必要があります。
上記の課題に対処するために、FAAN は、シングルホップ エンティティ隣接エンティティのエンティティ埋め込みをモデル化する適応型アテンション隣接エンコーダを提案しています。また、TransE に従い、先頭エンティティの埋め込みと末尾エンティティの埋め込みの間の遷移としてタスク リレーショナル 埋め込みをモデル化します (つまり、r ≈ h − t)。次に、参照エンティティのさまざまな役割をさらにシミュレートするために、FAAN はエンティティの隣接関係とタスク関係の相関に基づいてアテンション メトリックをトレーニングし、参照セット内の各エンティティの役割を認識した隣接エンベディングをさらに取得します。エンコーダを使用すると、動的な注意スコアをさまざまなタスクの関係に適応させることができます。適応メカニズムは、近隣エンティティのさまざまな貢献に応じて、エンティティのさまざまな役割を把握するのに役立ちます。各エンティティの最終表現は、事前トレーニングされたエンベディングとその役割を認識した隣接エンベディングをエンコードします。
エンコーダーによって提供される強化されたエンティティ表現を使用して、FAAN はさらに、一連の Transformer ブロックを適用してトリプレットをサポートおよびクエリし、タスク関係のさまざまな意味を取得します。これは、中国から動的 KG 埋め込みを学習するというアイデアを借用しています。各要素について、いくつかの Transformer ブロックを介して要素の埋め込みと位置の埋め込みを渡し、意味のあるエンティティ ペアの埋め込みを取得します。
次に、FAAN は、さまざまなクエリを予測するときに静的表現を使用する代わりに、タスク関係に関するすべての参照とそのアテンション スコアを集約することによって、サポート セットの一般的な適応表現を取得します。
FAAN は、FSRL と同じ方法でメタトレーニングも使用します。つまり、モデルはメタトレーニング セット内のさまざまなタスク関係でトレーニングされ、すべてのタスクにわたって適切に実行され、テスト内の少数のタスクに迅速に適応できるパラメーターのセットを生成します。 -ショットタスクを設定します。要約すると、FAAN は、きめ細かい意味を捉えることによって、エンティティと参照の表現の品質を向上させます。FSRL と同様のマッチング スコアを共有しているため、FAAN は FKGC タスクで以前のモデルを上回っています。
一方、HARV は、これまで無視されていた、隣接する関係とエンティティ間の違い、および関係間の相互作用を捉えることに重点を置いています。これは、先頭エンティティと関係 (関係レベル) および関係と末尾エンティティ (エンティティ レベル) の間の情報を分離することにより、中心エンティティ表現のための階層的近隣アグリゲーターを導入します。関係レベルの注意の重みは、ヘッド エンティティと関係の埋め込みから計算されます。関係レベルの埋め込みは、このアテンションを持つ先頭エンティティ ℎ の隣接関係を集約することによって生成されます。次に、関係レベルの埋め込みと各末尾エンティティの連結を使用して、エンティティ レベルの注意の重みが生成されます。二次重みは最終的に、拡張されたエンティティ表現を計算するために使用される三次重みを生成します。リレーショナル エンコーダは、関係間の相互作用を考慮します。エンコーダーは、FSRL の Bi-LSTM を使用した LSTM アグリゲーターの拡張であり、サポートされているすべてのエンティティ ペアの表現を更新します。サポート エンティティ ペアの埋め込みと Bi-LSTM エンコーダの埋め込みの連結が各エンティティ ペアの最終表現として使用され、サポート セットはすべてのサポート エンティティ ペアのアテンションベースの集約によって表されます。
さらに、GEN は、目に見えないエンティティ間、または見えるエンティティと見えないエンティティの間の関係を予測するためのオフグラフ FKGC シナリオを研究しています。メタ学習とは、目に見えるエンティティから目に見えないエンティティへの知識の推定、および多くのリンクを持つエンティティから少数のエンティティへの知識の伝達です。GEN はさらに、目に見えないエンティティ間のリンク予測におけるモデルの不確実性に関する推論を変換するための確率的埋め込み層を開発します。Gen はあらゆる GNN と互換性があります。具体的には、帰納的および伝達的リンク予測のためのメタトレーニング段階で 2 つの GEN が使用されます。最初の GEN は帰納的 GEN です。それは、観察されていない目に見えないエンティティをエンコードすることを学習し、目に見えるエンティティと目に見えないエンティティの間の接続を予測します。2 番目の GNN はそれぞれ変換 GEN です。目に見えないエンティティ間のつながりを予測する方法を学ぶこと自体が、さらに一歩進みます。変換的推論を可能にするために、GEN のメタ学習フレームワークは、メタトレーニング中に、従来の学習スキームでは観察されない目に見えないエンティティをモデル化できます。さらに、目に見えないエンティティのリンク予測は本質的に信頼性が低く、エンティティごとに数個のトリプルしか利用できない少数ショットのシナリオではさらに悪化するため、GEN は不確実性を考慮して、目に見えない表現のランダムな埋め込み分布を学習します。さらに、転移学習戦略を適用してロングテール分布をモデル化します。これらは、目に見えるエンティティとよく一致する、目に見えないエンティティを表す GEN につながります。前述したように、単純な GEN は、サポートするトリプルの欠如による目に見えないエンティティ表現の不確実性により、グラフ外リンク予測の本質的な信頼性の低さに悩まされる可能性があります。この問題に対処する確率層は、エンティティの埋め込み上の分布を学習することによって、目に見えないエンティティを埋め込みます。GEN は、モンテカルロ損失を伴う変換された GEN からの出力埋め込みにおける不確実性の原因もモデル化します。
最近、REFORM は、FKGC に影響を及ぼすエラーの悪影響を制御するためのエラー認識モジュールを提案しています。これは元の FKGC とは少し異なり、少数のショットの関係カテゴリからクエリ エンティティ ペアの欠落している関係カテゴリを予測します。現実世界のナレッジ グラフのほとんどは自動的に構築されるため、人間による検証なしにナレッジ グラフに多くのエラーが組み込まれます。このようなエラーは、特に依存するサポート トリプルが少数しかない場合、FKGC での以前のメソッドのパフォーマンスを大幅に低下させます。REFORM の近隣エンコーダは、アテンション メカニズムを使用して最も信頼できる近隣を選択し、エンティティ表現を強化することに重点を置いています。重み行列は、正しい近傍がより高い重みを持つようにするために、事前トレーニングされた埋め込み (REFORM、TransE 内) を使用してトレーニングされることに注意してください。次に、ソフトマックス関数を使用して行列が正規化され、各エンティティの堅牢な埋め込みが取得されます。参照エンティティのペアは、先頭エンティティ埋め込みと末尾エンティティ埋め込みの連結によって表されます。次に、サポート セット内の関係の堅牢な埋め込みを生成するために、REFORM には、関係の依存関係とサポート インスタンスをキャプチャするトランスフォーマー エンコーダー ベースの相互関係集約モジュールが含まれています。Transformer エンコーダは、マルチヘッド アテンション メカニズムに基づいて、各入力エンベディングを他のすべての入力エンベディングのエンコードに参加させます。次に、エラー軽減モジュールで、REFORM はグラフ畳み込みネットワーク (GCN) を利用して、クエリ タスクごとにさまざまな関係の信頼度の重みを生成します。信頼度の重みは、エラーの影響を制限するための注意の重みとして考えることができます。具体的には、REFORM はクエリ指向のグラフを構築して、特定のクエリ関係に対するさまざまなサポート インスタンスの影響を測定します。GCN は、間違ったカテゴリにグループ化されたクエリ関係の損失を最小限に抑えるようにトレーニングされています。
翻訳ネットワークを利用する代表的なものはMetaRです。その考え方は、MetaR は近隣情報をエンコードするのではなく、タスク内の共通情報や共有情報を参照インスタンスからクエリ トリプルに転送することに重点を置いているということです。このような情報は、MetaR ではリレーショナル要素と呼ばれます。リレーショナル メタ学習器は、サポート セット内の先頭エンティティと末尾エンティティの埋め込みからエンティティ ペアの表現を生成します。サポート セット内のヘッドテール エンティティ ペアが与えられると、学習者はまず、LeakyReLU を活性化関数として使用する完全接続ニューラル ネットワークを通じて、エンティティ ペア固有の関係要素を抽出します。タスクの最後のリレーション要素は、特定のリレーション要素の現在のサポート セット内のすべてのエンティティの平均です。
MetaR はまた、勾配メタと呼ばれるメタ学習を利用して学習プロセスを高速化します。セクション 3.2.5 で述べたように、モデルは新しい数ショットのタスクに対して迅速に更新できる必要があります。MetaR は TransE のアイデアを継承し、同様のスコアリング関数 || hi+RTr−ti || を適用して、関係要素を持つ各エンティティ ペアのスコアを計算します。次に、すべての正および負のトリプレットのスコアを使用してサポート セットの損失を最小限に抑えることにより、パラメータの勾配はパラメータをどのように更新すべきかを示すことができます。この勾配更新ルールに従って、MetaR はリレーショナル要素を迅速に更新し、更新されたメタデータを使用して同じスコアリング関数でクエリ セットをスコアリングできます。
このモデルは、バッチ内のすべてのタスクにわたるクエリ損失の合計を最小限に抑えるようにトレーニングされています。背景知識グラフに依存する GMatching と比較して、私たちの MetaR は背景知識グラフから独立しているため、より堅牢です。背景知識グラフは実際のシナリオでは少数ショットのリンク予測には役に立たない可能性があるためです。
GANA はさらに一歩進んで、アテンション メカニズムと LSTM アグリゲーターを使用して埋め込みとリレーショナル メタコンピューティングを改善することで MetaR を拡張します。ここでの動機は、近隣が空いている場合、または少数ショット関係を表すのに適切な近隣が利用できない場合でも、ノイズの多い近隣情報がモデルに悪影響を与える可能性があることです。GANA はグローバルとローカルの枠組みを提案します。グローバル ステージでは、少数のリレーショナル近傍のセマンティクスを正確に統合するために、ゲートされた慎重な近傍アグリゲーターが構築されます。これは、KG に非常にまばらな近傍が含まれている場合でも、ノイズの多い近傍をフィルタリングするのに役立ちます。少数ショット関係に関連付けられたヘッドテール エンティティとその近傍を結合して、疎な近傍によるノイズの多い近傍情報を除去します。ゲーティング メカニズムは、少数ショットの関係を表現するための近傍表現の重要性を決定できます。具体的には、グラフ アテンション ネットワーク (GAT) ベースの隣接エンコーダがグローバル ステージで開発され、隣接エンティティの埋め込みの品質を向上させるために隣接要素の差分的な影響をキャプチャします。エンコーダは、トレーニング可能な線形変換行列に基づいて、各近傍のアテンション ウェイトを生成します。GANA は、線形変換を伴うゲートを使用してエンティティの近傍が少数ショット タスクの関係に及ぼす影響を自動的に判断し、疎な近傍によるノイズの多い近傍を除去します。次に、エンティティの埋め込みとその隣接表現を組み合わせることによって、エンティティが表現されます。サポート セットの最後の三重近傍表現は、先頭表現と末尾表現を連結したものです。サポート セットをエンコードすることにより、GANA は注意深く Bi-LSTM エンコーダーを使用して、クエリ関係の複数の近傍表現をサポート セットに統合します。クエリ関係表現は、サポート セット内のすべての隣接埋め込み (Bi-LSTM の最終的な隠れ状態の合計) を組み合わせることによって重み付けされます。ローカル段階では、メタ学習ベースの TransH (MTransH) メソッドは、複雑な関係をモデル化し、少ない学習でモデルをトレーニングすることを目的としています。TransH を使用する理由は、複雑な関係をモデル化できるためです。同様の損失関数が MAML メソッドに適用され、メタトレーニング セット内のすべての少数ショット (クエリ) 関係について適切に初期化されたパラメーターが学習されます。
別の同様の FKGC モデルである HiRe [76] は、GANA の拡張と見なすことができます。これは、エンティティ レベル、三次レベル、およびコンテキスト レベルの 3 つのレベルでリレーショナル情報を共同で取得することを提案しています。対照学習を使用して、先頭エンティティと末尾エンティティの近隣エンティティを結合してトリプレットにエンコードし、より幅広いコンテキストをエンコードします。HiRe は、ターゲット トリプレットがセルフ アテンション メカニズムに基づいて真/偽コンテキストの埋め込みを学習し、コンテキスト内の重要な近傍に高い重みが与えられるようにするためのコンテキスト エンコーダーを提案しています。さらに、コントラスト損失を使用して、トリプレットを実際のコンテキストに近づけ、偽のコンテキストから分離します。次に、3 層の関係学習段階で、HiRe はトランスフォーマーベースのメタ関係学習器を開発して、参照トリプル間の相互作用を捕捉し、LSTM の代わりにターゲット関係のメタ関係表現を生成します。最後に、HiRe は TransD ベースのメタスコアリング関数を採用して、エンティティと関係の多様性を捉えます。MAML ベースのトレーニング戦略は、GANA にも同様に適用されます。3 レベルの関係情報により、HiRe は最先端のモデルと比較して NELL-One および Wiki-One でより優れたパフォーマンスを発揮します。アブレーション研究では、3 つのレベルの関係情報すべてが HiRe のパフォーマンスにとって重要であることがさらに実証されており、将来のモデルではこの情報をさらに活用できる可能性があります。
Meta-iKG は、この分野のもう 1 つの最近の研究で、ローカル サブグラフを利用してサブグラフ固有の情報を転送し、メタ学習によるメタ勾配を介して転送可能なパターンを迅速に学習することを提案しています。グラフ ニューラル ネットワークは最近、ターゲット トリプルの周囲のマルチホップ情報を取得するために帰納的関係推論に組み込まれています。たとえば、GraIL は、目に見えないエンティティを処理するためのサブグラフベースの関係推論フレームワークを提案しています。CoMPILE は、ノードエッジ通信メッセージ受け渡しメカニズムを導入して有向サブグラフをモデル化することで、このアイデアを拡張します。Meta-iKG は、CoMPILE メソッドの FKGC への拡張として理解できます。Meta-iKG はもはや変換設定に限定されず、目に見えないエンティティを処理できませんが、テスト セット内の新しいエンティティを含む少数の帰納的 KGC タスクをターゲットとしています。このモデルは、リレーションを小サンプルのリレーションと大サンプルのリレーションに分割し、リレーション インスタンスの数にしきい値 K を使用し、適切に初期化されたパラメータを見つけるために大サンプルのリレーションによるメタトレーニングを使用し、三値の MAML のフレームワークに従います。グループ上のモデルの調整 Meta-iKG は MetaR の構造を継承し、まず関係固有の学習段階でターゲット エンティティと末尾エンティティの間で直接閉じたサブグラフを抽出します。次に、帰納的ノード ラベリング関数を適用して、サブグラフ内のエンティティの個別の役割を識別します。
ノードの埋め込みは、サブグラフ内の各ノードの相対位置を埋め込むために、ターゲット エンティティまでの距離によって初期化されます。次に、Meta-iKG は、CoMPILE のアイデアに従い、通信メッセージ パッシング ニューラル ネットワークを使用して各サブグラフをスコアリングし、ターゲット トリプレットの妥当性をタスク損失としてエンコードします。通常のメタ学習ステップにより、少数ショットの関係でのパフォーマンスが保証されます。ただし、タスクリレーショナル クエリセットは最終パラメーターのみを更新するため、更新されたパラメーターにバイアスが生じる可能性があります。ラージショット関係での Meta-iKG のパフォーマンスを保証するために、ラージショット関係更新手順が導入され、学習率が低いサポート セットを使用して最終パラメータをさらに更新します。この操作により、Meta-iKG は帰納的データセット全体に対して適切に一般化できるようになります。
KG 依存性の問題を解決し、トレーニング段階でネガティブ サンプルをさらに利用するために、メタパターン学習フレームワーク MetaP が提案されています。データ内のパターンは、データを分類する代表的な規則性です。KG のトリプレットも関係固有のパターンに従い、これを使用してトリプルの有効性を測定できます。リレーションのスキーマとは、先頭エンティティ、リレーション、末尾エンティティの特性が共起する規則性を指します。MetaP は、トリプルのパターンを直接抽出する畳み込みフィルターベースのパターン学習器を設計します。限られた参照から特定の関係パターンの潜在的な表現を学習できるため、背景の KG から独立しています。さらに、MetaP はネガティブ参照を利用することで、クエリ トリプルの有効性をより正確に測定できます。クエリ トリプルのパターンが正または負である確率を予測するために、有効性バランシング メカニズム (VBM) を備えたパターン マッチャーが提案されています。
-つづく-