1.事前研修は、モデルがキャプチャし、このような大規模コーパスからの長期依存性と負などの言語現象の多様性を学ぶことができます。
2.次に、このような感情的な分類だけでなく、特定のNLPタスク、上の微調整のパフォーマンスにモデルを初期化するための知識とトレーニング（転送）を使用します。
それは例えば、負の感情極性検出は、テキストメッセージからの重要な属性である、言語で行わないため3.それは、言語で動作します。また、負はまた、ほとんど未解決NLP最も複雑な作業の一つである試験として風刺、皮肉を検出するために有用であり得ます。
普遍的な言語モデルを持つ4. NLPの研究で設定したアノテーションデータや言語リソースの不足が有用である可能性がある属性。
5.これまでのところ、我々は知識は非常によく行われ、多くのNLPタスクのために、埋め込まれた単語の形で、たとえば、事前に訓練された言語モデルから得られたことを知っています。
6.ここでの問題は、この機能は、知識の潜在形で存在することは十分に機能する標的又は下流のタスクに十分広いかどうかではないことです。
次の質問：
我々は言語の文脈で深い文脈表現をモデル化することによって何を意味するのか
モデリングによって、私たちがする何を意味するのか、言語環境のコンテキストで深い表現。
モデルは実際に何を学んでいます
真の学習のモデルがどのようなものです。
構築し、これらpretrained言語モデルを訓練する方法
どのように構築し、これらの事前訓練された言語モデルを訓練します。
何pretrained言語モデルの主要な構成要素であり、それらを改善する方法
事前キー訓練言語モデルコンポーネントは、それらを改善する何をどのように含まれています。
我々は、異なる言語ベースの問題を解決するために使用したり、それらを適用するにはどうすればよいです
どのように我々は、さまざまな問題言語を解決するためにそれらを使用するか、または適用されます。
従来の転写学習技術Fと比較してpretrained言語モデルの利点は何
かNLP
伝統的な学習NLPの技術移転、何か良い事前に訓練された言語モデルと比較すると。
欠点は何ですか
不利な点は何ですか。
私たちは言語モデルを事前訓練をするときに留意する必要があります自然言語の側面
言語モデルを訓練するとき、私たちはどのような自然言語を覚えておく必要があります。
事前訓練タスクのどのような私たちはこれらのいわゆる一般化NLPシステムを構築してテストすることを検討しています
私たちは、構築し、NLPシステムを促進することができるこれらのいわゆる事前ミッションの訓練をテストするために何を検討しています。
そして、もっと重要なのは、我々は、データセットのどのような種類を使用する必要があります広い対処するのに十分な代表的なものであること
NLPタスクの範囲を
さらに重要なことは、我々はこれらのデータ・セットを使用する必要があり、データ収集の種類NLPタスクの広い範囲を表すのに十分です。