1なぜ教師なし学習教師なし学習

自己監視学習は、教師なし学習の特別な方法です。教師なし学習で述べたように、ラベル付けは非常に価値があり、通常は手動でマーキングする必要があり、時間と人件費が非常に高くなります。しかし実際には、ラベルのないデータを取得することは比較的簡単です。私たちは、インターネット上の多くのテキスト、画像、音声、製品情報などをクロールできます。これらのラベルなしデータの使用方法は、常に教師なし学習の重要な方向性でした。自己管理学習はソリューションを提供します。

自己監視学習は、データの一部を使用して他の部分を予測し、監視信号を単独で提供することで、自己監視学習を実現します。自己監視学習を使用すると、特定のテキストまたは画像表現を学習できます。これは、下流のタスクの開発に有益です。これはpretrain-finetuneです

2自習学習実施計画

自己管理型学習の実装スキームには、主に次のものが含まれます

データの一部を使用して、データ全体を再構築します。これは実際には一種のノイズ除去オートエンコーダです。NLPに関しては、BERTシリーズのマスク言語モデルとCVフィールドの画像復元インペインティングがこのスキームを使用します。
CVフィールドのいくつかのタスク。例えば、絵を9つに分け、スクランブルした後、パズルを実行します。画像を特定の角度だけ回転させてから、回転角度を予測します。
コントラスト学習。word2vec、Contrastive Predictive Coding、SimCLRなど

3 NLPの分野での自主学習

自己管理学習を使用して、さまざまなNLP事前トレーニングモデルが実装されます。Elmo、GPT、BERT、XLNet、Electra、T5など。それらはノイズ除去オートエンコーダーと見なすことができます。

3.1自動エンコーダと自動回帰LM

彼らは2つのタイプに分かれています

自動エンコーダ。たとえば、BERTで使用されるマスク言語モデル。シーケンス内のトークンの一部をマスクしてから、モデルにマスクの位置を予測させます。その利点は、両方向の文情報を十分に活用でき、分類、QA、およびNERなどのタスクで適切に実行できることです。欠点は、シーケンス内のマスク位置のみが予測に関与することであり、トレーニング効率が低くなります。さらに、トレーニング中はマスクがありますが、ダウンストリームタスクの微調整中にはマスクがないため、2つの段階で不整合が生じます。
自動回帰言語モデル自動回帰LM。厳密に言えば、MLMマスク言語モデルは言語モデルと見なすことはできません。GPTなどの自己回帰モデルは、実際の言語モデルです。上記を使用して、以下のトークンを予測します。生成タスクのパフォーマンスが向上します。利点は、事前学習と微調整の2つの段階が同じであり、シーケンスの各位置が予測に参加することで、学習効率が非常に高いことです。不利な点は、上記の内容のみが表示され、以下の内容（1つの方向）は表示されないことです。これは、文の意味の理解に大きな影響を与えます。

Auto-Encoderの例は次のとおりです。2つの方向でコンテキストを取得できるため、意味の理解に役立ちます。