MRCのための豊富な知識を持つ【论文笔记】強化前の訓練を受けた言語表現

KT-NET - 知識とテキスト融合NET

KB単位： WrodNet + NELL。KBのdistrubuted表現（ KBの埋め込み）。

WordNetの：例えば（生物、動物、の上位語）としての語彙関係を記録

NELL：エンティティに関する店舗の信念;比如（コカ・コーラ、アトランタ、に本社を置きます）

データセット：レコード、SQuAD1.1

そして、他の違い（の余分な知識モデル使用などKN-Readerの差を）

まず、検索し、KBの埋め込みを行うことを学ぶ学習のembeddinsのKBの概念、統合 MRCシステムには、（すなわち構造化キロとコンテキストが一体化されています）。このような関連のKBは、MRCシステムのためのこれ以上便利な、世界的に使用されています。

KBモデルは、関連するKB、その後、関連するKBエンコードMRCとローカルに関連するKBのあるシステムに統合を取得することである前に。

評価指標： EM、F1、F1 EM +スコア

モデルと本稿の知識の使用に関連する論文は、一見の価値があります。

貢献

1.事前に訓練を受けたのLM + KN、潜在的な将来の研究の方向、 KB単位キロから高度でのLMの強化。

MRCのKT-NETの2デザイン

BERTのキロバイトの効果を使用します

レコード（2018）から：WordNetのとKNからNELLの導入後、CSTの精度を向上させます。

実ワードエンティティのsynset、概念

モデル説明

①最初の埋め込みの2つのGeの知識ベースを学びます。

②関連する可能KBの埋め込みを取得します。

③encodes、隠された層の選択された状態とBERTの埋め込みは、一緒に融合します。

④用、コンテキスト、知識・意識の予測。

使用エンコードkgで、への埋め込み知識グラフベクトルKBの概念図を学習する技術を。

P、Q与えられ、その後、各概念c∈C（W）は、Cが学習ベクトル埋め込みCであるすべてのトークンW（w∈P∪Q）に対する関連KBコンセプトC（W）の一連を取得しますこのように事前に訓練さKBの埋め込み、その後、+ 4つの主要な構成要素の内部を得ます。

その後、繰り返し：

エンコーディングBERTレイヤ、計算と深い、コンテキストアウェア表現の通路を、
積分するレイヤー知識、コンテキストアウェアだけではなく、知識を意識しました。キロバイトのメモリから最も関連性の高いkbの埋め込みを選択し、それらが表現をエンコードし、統合BERT入れる注意メカニズムの使用。
レイヤ加工へのセルフ、 FUSE BERTとKB表現、さらに豊かな相互作用。
出力層は、知識を意識した予測を行います。