BERT の 4 つの主要な下流タスク
1. 文ペア分類タスク
MNLI: 2 番目の文に最初の文が含まれているか、矛盾しているか、または中立であるかを予測することを目的とした大規模な分類タスク。
QQP: Quora が 2 つの意味論的な質問に関して同等であるかどうかを予測するバイナリ分類タスク。
STS-B: セマンティック テキスト類似性ベンチマーク。ニュースの見出しやその他のソースから抽出された文のペアのコレクション。次に、2 つの文が意味的にどの程度類似しているかを示すスコアでマークします。
MRPC: オンライン ニュース ソースから文ペアの構成を自動的に抽出し、文ペア内の文が意味的に同等であるかどうかを示す人間による注釈を付けます。
SWAG: Adversarily Generated Context データセットには、堅実な常識的推論を評価するための文ペアの完全な例が 113,000 個含まれています。与えられた文に対して、4 つの選択肢から最も妥当な継続を選択するという課題があります。その中で、SWAG データセットを微調整する場合、特定の文と継続する可能性のある単語を含む各入力シーケンスに従ってトレーニング データが直列に構築されます。
2. 単文分類タスク
SST-2: スタンフォードセンチメントツリーバンクは、映画レビューから抽出された文と、その感情を含む人間の注釈から構成される単一文のバイナリ分類タスクです。
CoLA: 言語受容性コーパスも、英語の文が言語的に「受容可能」かどうかを予測することを目的とした単一文のバイナリ分類タスクです。
3. 質問応答タスク
SQuAD: スタンフォード質問回答データセットは、100,000 の質問と回答のペアのコレクションです。質問と、その回答を含む Wikipedia の一節が与えられた場合、そのタスクは、そのパッセージ内の回答テキストの範囲 (開始、終了) を予測することです。
すべての BERT 微調整メソッドは、事前トレーニングされたモデルに単純な分類層を追加し、下流タスクのすべてのパラメーターを共同で微調整します。ただし、すべてのタスクを BERT アーキテクチャで簡単に表現できるわけではないため、タスク固有のモデル アーキテクチャを追加する必要があります。
4. 固有表現認識タスク
単一文のタグ付けタスクは、固有表現認識タスク (略して NER) とも呼ばれ、一般的な NER データセットには CoNLL-2003 などが含まれます。このタスクは、主に人名、地名、機関名、固有名詞などのテキストや、時間、数量、通貨、比例値などのテキスト内で特定の意味を持つエンティティを特定することを指します。
同様に、NER タスクに単純な分類層を追加するだけでは Bert を微調整することはできないため、NER タスクを完了するには特定のアーキテクチャを追加する必要があります。