公開アカウントを転載 | ラオ・リウ氏は NLP と述べた
イベント抽出を行ったことのある友人はイベントスキーマが非常に重要な存在であることを知っており、イベントスキーマはイベントモードとも呼ばれます。
イベント スキーマは、イベントを表現し、世界の出来事の知識をモデル化するための概念的、構造的、形式的な言語を提供します。
しかし、実際の研究開発のプロセスでは、現実世界のイベントのオープン性、イベント表現の多様性、イベント知識の不足などにより、高品質でカバレッジの高いデータを自動生成することが困難であることがわかります。イベントパターン。
最近では、「大規模言語モデルからイベント スキーマを収集する」という研究が非常に興味深いものになっています。この研究では、新しいイベント パターン誘導パラダイムを提案し、大規模な事前学習済み言語モデルから知識を取得し、イベント パターン コレクター (ESHer) を設計します。コンテキスト生成の概念化、信頼性を意識したパターン構造化、グラフベースのパターン集約を通じて、高品質のイベント パターンを自動的に誘導します。
この記事では参考までに作品を紹介します。
1. 背景
イベントは、人間が世界を理解し、経験するための基本単位の 1 つであり、爆撃、選挙、結婚など、複数の参加者が関与する特定のイベントです。
イベントを表現し、世界の出来事の知識モデルを構築するために、イベント スキーマは、イベントの種類、特定のイベントの意味論的な役割 (スロット)、およびさまざまなイベント間の関係を説明できる概念的、構造的、形式的な言語を提供します。
その重要性により、大規模、高品質、高カバレッジのイベント パターンを自動的に発見して構築すること、つまりイベント パターン誘導が重要です。
ただし、現実世界のイベントのオープン性、イベント表現の多様性、およびイベント知識の不足により、イベント パターンの誘導は簡単な作業ではありません。
まず、実際のアプリケーションでは、イベント タイプの規模が非常に大きく、新しいイベント タイプが常に出現しているため、この未解決の問題を解決するには、さまざまなドメインをカバーするイベント パターンを自動的に生成する必要があります。
第 2 に、イベントは非常に異なる自然言語文で表現されることが多いため、さまざまなイベント表現を概念化して正式なイベント スキーマに構造化することによって規制されます。
最後に、言語の経済原則により、イベント表現はほとんどが不完全であり、多くのイベント引数が欠落しています。このスパース性の問題を解決するには、イベント パターンへの帰納的アプローチで散在するイベントを集約する必要があります。
ただし、これまでのところ、すべてのイベント パターンのほとんどは依然として人間の専門家によって手動で設計されており、通常は MUC、ACE、TAC-KBP など、費用と労力がかかります。
一方で、従来の自動イベントパターン誘導手法では、オープン性、多様性、希薄性といった課題を依然として克服できていません。
例えば：
コンセプトのリンクに対するボトムアップのアプローチ。イベント式を解析して外部スキーマ ソース (FrameNet など) にリンクすることで、イベント タイプ/スロットのカバレッジを排除します。これは、外部スキーマ リソースの品質とカバレッジによって制限されます。
トップダウンのクラスタリング手法。所定のパターン テンプレート (5W1H テンプレート、または所定の数のイベント タイプ/スロットを持つテンプレートなど) に従ってイベント式をクラスタリングします。これは、所定のテンプレートによって高度に制約されます。
2. Event Schema Harvesterの構成
正式には、ラベルのないコーパス C と PLM が与えられた場合、イベント パターン誘導メソッドはイベント クラスター Y = {y1, y2, ..., yN} を発見できます。ここで、N は見つかったイベント タイプの数です。
各イベント クラスター y について、名前 t とそれに対応する意味論的な役割 {st1,st2,...} として自動的に概念化されます。ここで、et ∈ T、s ∈ S、および T/S はオープンドメインのイベント タイプ/スロットです。名前。
Event Schema Harvester (ESHer) が設計されており、そのフレームワークを図 2 に示します。
ESHer は 3 つの部分で構成されます。
1) コンテキスト生成に基づいたテキストの概念化。さまざまなイベント表現をコンテキスト表示に基づいて概念化されたイベント パターンに変換します。
２）イベントタイプを選択し、その重要性、信頼性、一貫性と関連付けることによってイベントパターンを構造化する信頼スコアベースのパターン構造化。
3) グラフベースのパターン集約。グラフベースのクラスタリングを通じて散在するまばらなイベント知識を単一のイベント パターンに集約し、完全なイベント パターンを形成します。
3. コンテキスト生成に基づくテキストの概念化
このリンクは、コンテキスト生成されたテキストの概念化を通じて、コンテキスト プレゼンテーションに基づいて、さまざまなイベント表現を概念化されたイベント パターンに変換します。
正式なイベントはさまざまな自然言語で表現されることが多く、スキーマ誘導に重大な課題が生じます。
たとえば、「テロ攻撃により 35,000 人以上が死亡した」と「テロ攻撃により 35,000 人以上が死亡した」は、同じ出来事を表現しますが、単語と構文構造はまったく異なります。
これに対処するために、さまざまなイベントがパターン候補として概念化され、イベント パターンの知識を抽出してそれらを均一に表現できます。
たとえば、上の 2 つの例のイベント タイプとセマンティックな役割は、同じスキーマ「タイプ: ダイ、スロット: エージェント、攻撃者、計器、被害者」に抽出されます。
このセクションでは、PLM のコンテキスト生成機能を使用して、教師なしテキストからパターンへのフレームワークを提案します。
具体的には、テキストの概念化は、コンテキスト内の生成プロセスとしてモデル化されます。
→スキーマ。
その中で: デモンストレーションはデモンストレーションを意味し、「デモンストレーション」は例のリストであり、PLM がテキストをパターンに概念化する方法をガイドするために使用されます。各デモンストレーションは <テキスト, パターン> のペアであり、「テキスト → パターン」で表されます。
ここで、「テキスト」は概念化したいイベント コーパス、「パターン」は「タイプ: t、スロット: st1; st2...」として表現される概念化のスキーマ、「→」はこれらを組み合わせた特別なトークンです。テキストモードとイベントモードは別々にあります。
データ構成の点では、この作業では、人間が注釈を付けた既存のイベント データセット (ACE、DuEE など) から直接サンプリングしており、さらに、1 つのインスタンスからより多くのイベント知識を呼び出すために、テキスト c1 ごとに n 個のパターン候補が生成されます。 c2, ...cn、n はハイパーパラメータです。
4. 信頼スコアリングに基づくスキーマの構造化
text-to-schema コンポーネントは、イベントの知識をさまざまな表現で抽出し、概念化します。
このセッションは、イベント タイプごとに顕著で信頼性が高く、一貫性のあるスロットを選択して評価することによって、これらの概念化されたイベント パターンをどのように構築できるかについて説明することを目的としています。
たとえば、「ダイ」イベント フレームは、イベント タイプ「ダイ」とスロット「エージェント、攻撃者、手段、被害者」の間の関連性を評価することによって構造化できます。
正式には、以下のアルゴリズム 1 に示すように、O はテキストの概念化の結果を示すために使用されます。
ここで、j 番目のインスタンスは (textj,{cj1,cj2,...cjn}) であり、{cj1, cj2,...cjn} は n 個の生成されたパターン候補であり、SlotSetj を使用してジョイントのインスタンス j の生成されたすべてのスロットを示します。
イベント タイプに対して高品質のスロットを選択するために、重要性、信頼性、一貫性など、スロットの品質とタイプとスロットの関連性を推定する一連のメトリクスが設計されています。
1.顕著性
イベント タイプ t の重要なスロットは、t の生成パターンでは頻繁に発生する必要がありますが、他のイベントではそれほど頻繁ではありません。
たとえば、「死」イベントの場合、「人物」よりも「攻撃者」と「被害者」のスロットが目立ちます。TF-IDF の考え方によれば、j 番目のインスタンスのスロット s の重要性は次のように計算されます。
2. 信頼性
スロットは、インスタンスの複数の候補の中で他のスロットと頻繁に同時発生する場合、信頼性が高くなります。
たとえば、図 2 では、スロット「エージェント」は他のすべてのスロットと同時発生するため、「死」イベントに対して信頼できると見なされます。使用時には、次のように PageRank アルゴリズムを使用してスロットの信頼性を計算します。
3. 一貫性の一貫性
PLM は入力イベント表現に忠実ではないパターンを生成する可能性があるため、計算イベント タイプとスロットの一貫性も必要です。
具体的には、WordNet、HowNet、BERT に基づく意味的類似性を使用して、生成されたイベント パターンとイベント表現の一貫性を評価します。
j 番目のインスタンスのスロットに対応する一貫性スコアは次のとおりです。
そして、スロットの最終的な信頼性は、重要性、信頼性、一貫性のスコアを組み合わせて計算されます。
ここで、λ1 と λ2 は 2 つのハイパーパラメータです。
最後に、各インスタンスの上位 1 つの一貫したイベント タイプのみを保持し、信頼スコアが特定のしきい値を下回っている場合は、そのインスタンス内のすべてのスロットをフィルタリングします。
5. グラフベースのスキーマ集計
このセッションは、さまざまなスキーマに散在するセマンティックな役割を集約することによって、スパースな問題を解決する方法に取り組むことを目的としています。
たとえば、「タイプ: 死、スロット: エージェント; 攻撃者; ツール; 被害者」と「タイプ: 死、スロット: エージェント; 死、ツール; 場所; 時間」を組み合わせることで、より正確な結果を得ることができます。イベントモード。
ここで、この研究では、最初に個々のイベント パターンをクラスターに分類し、次に同じクラスター内のイベント タイプとスロットをクラスター化する、グラフベースのクラスタリング手法を提案しています。
ここでのロジックは、イベント パターンの元の表現が同じ出来事を記述し (テキストの類似性)、事前に予測されたタイプが同義語 (タイプの類似性)、多くのセマンティック スロットを共有する (スロット セットの類似性) 場合、それらは次のいずれかに属するというものです。同じイベントタイプ。
たとえば、「死亡」と「死亡」は同義語であり、「エージェント」と「楽器」は共通の意味論的役割であるため、これらは同じイベント タイプである可能性が高くなります。
クラスタリングでは、ルーヴァン アルゴリズムを使用してパターンをグループに分割します。
ここで、 y＾j∈Y = {y1, y2, ..., yN } は、j 番目のパターンが y＾j 番目のイベント クラスターに割り当てられ、各クラスターが異なるイベント タイプを表すことを示します。
イベント スロットの場合、スロット内に同じ意味論的役割を表す同義のスロット名が存在する場合があります。たとえば、上記の例では {death, Victory} が synset です。
したがって、Louvain アルゴリズムが再度利用されます (同義のイベント スロットを識別し、その同義を表す最も顕著なスロットを選択します。たとえば、シンセット {dead, Victory} の代表的なスロット名として「victim」が選択されます)。
構成フェーズでは、異なる個々のイベント パターン間の類似性をモデル化するグラフが構築されます。
具体的には、グラフ内の各ノードはイベント パターンであり、2 つのパターン ノード間の類似度は、イベント表現間の類似性、イベント タイプ間の類似性を考慮して取得されます。類似度は次のように計算されます。
Sim() は意味的類似性関数の略です。
6. 実験結果
この方法の有効性を検証するために、この研究では一連の実験が行われました。
まず、データセット上で ERE-EN をメイン データセットとして使用します。さらに、さまざまなドメインおよび言語でのイベント パターン誘導のパフォーマンスを評価するために、他のデータセットがさらにテストされます。
次に、テキスト概念化段階の指標データのモデルに BLOOM モデルを使用して、英語と中国語のデータセットのデモンストレーション データがそれぞれ ACE と DuEE から抽出されました。
最後に実験結果を見てみましょう。
1. 定性的および定量的な結論
具体的な効果を図 3 に示します。図 3 は、ERE-EN および ChFinAnn データセットからの ESHer によって誘発されるいくつかのパターンを示し、人間の専門家の結果との比較を示しています。
以下の結果から、ESHer が高品質のイベント パターンを誘発できることがわかります。
1) 生成されたイベント タイプのほとんどは、専門家によってマークされたイベント タイプと直接一致します。
2) 自動的に生成されたスロットと人間が注釈を付けたスロットの間には大きな重複があります。
3) 一部の不一致スロットが手動検査に合格することも合理的です。このことからも、専門家だけに頼ってカバー率の高いパターンを得るのは難しいことがわかります。
4) 一部の欠落スロットはテキストの概念化では生成されますが、信頼性を意識した構造化では破棄されます。これは、人間参加型の導入によってパフォーマンスをさらに向上できることを示唆しています。
5) 適切なコンテキストのデモンストレーションにより、ESHer はさまざまな言語 (ERE-EN の場合は英語、ChFinAnn の場合は中国語など) に簡単に拡張できます。
定量的な結論を見てください。
定量的な結果については、具体的な効果を表 1 に示します。
見られます：
イベント タイプの検出については、ESHer は ERE-EN の 38 のイベント タイプの 21.05% を回復し、見つかったほぼすべてのイベント タイプ (85.92%) が許容可能でした。
イベントスロットの導入に関して、ESHer は 115 スロットのうち 11.30% を回復し、見つかったスロットの 44.95% を直接受け入れることができ、スロットの 35.21% は候補から選択できます。
2. イベントメンションクラスタリングの結果
この研究では、イベント言及クラスタリングのタスクを通じて ESHer の有効性を評価します。
最も言及された 15 のイベント タイプが選択され、すべての候補が ERE-EN のグループに分けられました。
クラスターが元のタイプと一致しているかどうかを評価するために、いくつかの標準メトリックが選択されました。
1) ARI は類似性を測定します。
2) NMI は正規化された相互情報量を測定します。
3) BCubed-F1 はプーリングの精度と再現率を測定します。
上記のすべての指標について、数値が大きいほど、モデルのパフォーマンスが向上します。
この作業では、ベースライン比較で、ESHer を次の機能ベースの手法と比較します。Kmeans、AggClus、JCSC、Triframes-CW、Triframes-Watset、および ETypeClus では、パラメーター設定のデフォルト設定を使用して、これらのクラスターのすべてのハイパーパラメーターを設定します。
表 2 は、全体実験とアブレーション実験の結果を示しており、次の結論が得られます。
まず、ESHer はすべての指標で ERE-EN のすべてのベースラインを上回っています。
ESHer は、PLM のインコンテキスト学習能力を最大限に活用しているため、ARI 56.59、NMI 67.72、BCubed-F1 62.43 という最先端のパフォーマンスを達成し、多様で希薄な課題を効果的に解決できます。
第 2 に、代表性、信頼性、一致推定値はすべて有用であり、補完的です。
5 つのバリアントはすべて、完全な ESHer モデルと比較して、さまざまな程度でパフォーマンスの低下を示します。ESHer は、ESHer-Salience 23.75 ARI、9.81 NMI、9.92 BCubed-F1 を上回っており、この結果は、良好なスロットを識別するための有意性スコアの有効性を検証しています。
ESHer は ESHer-Consistency 19.08 ARI、1.60 NMI、11.74 BCubed-F1 を上回っており、整合性推定も不可欠であることを示しています。これらの結果は、高品質のスロット セットがグラフベースの集計に有益であることも証明しています。
3. さまざまな分野での成果
さまざまな分野でのテストにおける結果のパターンを以下の図 4 に示しますが、ESHer はさまざまな分野でも安定しており、他のさまざまな環境にも拡張できることがわかります。
しかしながら、この作業には、次の 3 つを含むいくつかの解決すべき問題が提起されています。
1) 粒度の調整の問題: 同じスキーマ内のスロットの粒度が異なる場合があります。たとえば、パンデミック ドメインのスキーマ 1 では「個人」と「医師、患者」です。
2) あいまいさの問題: イベント タイプ「管理」は、パンデミック ドメインのモード 2 のスロット「管理者」を誤解させます。
3) 感情表現: イベント パターンは客観的であるべきであることを認識していましたが、「扇動者」は否定的な感情を伝えました。
要約する
この記事では主に、イベント スキーマの自動生成に関する興味深い研究である「大規模言語モデルからのイベント スキーマの収集」を紹介します。中心となるのは、生成メソッドを使用して候補スキーマを作成し、スコアリングによってそれらをフィルタリングし、最終的に次の方法で最終結果を取得することです。グラフクラスタリング。
もちろん、この記事は作品の紹介であり、解釈が定まっていなかったり、誤りがあったりする場合もありますが、さらに詳しく知りたい方は論文の原文を読んでいただければと思います。後で、参考のために論文のソースコードをさらに読みます。
興味深い作品をありがとう。
参考文献
1、https://arxiv.org/abs/2305.07280
2、https://github.com/TangJiaLong/Event-Schema-Harvester
OpenKG
OpenKG（中国語オープンナレッジグラフ）は、中国語を核としたナレッジグラフデータのオープン性、相互接続、クラウドソーシングを促進し、ナレッジグラフアルゴリズム、ツール、プラットフォームのオープンソースとオープンソースを促進することを目的としています。
クリックして原文を読み、OpenKG Web サイトに入ります。