マルチタスク学習を考えます

免責事項：この記事はブロガーオリジナル記事ですが、許可ブロガーなく再生してはなりません。https://blog.csdn.net/sinat_34611224/article/details/88311400

私のリポジトリ星へようこそhttps://github.com/IndexFziQ/Thinking-about-Multi-Task-Learningを。

マルチタスク学習（MTL）はNLPでどのように機能するかを考えます。触発されルーダーからの作業。

リポジトリは、NLPにおけるMTLの利点について考えるために目指しています。なぜそれが動作し、どのように主なタスクに役立つ補助タスクを選択します。それは大変な作業かもしれません。しかし、BERT、ヒットモデルは、また、私たちの言語モデルのためのきちんとしたタスクを定義する言語や推論のルールを探求する理由を与えます。

マルチタスク学習とは何ですか

「マルチタスク学習誘導バイアスとして関連するタスクのトレーニング信号に含まれるドメイン情報を用いて一般化を改善誘導転写する手法です。これは、共有の表現を使用しながら、並行して作業を学習することでこれを行います。他のタスクをよりよく学習することを助けることができるタスクごとに学んだ。」リッチカルアナ、1997年と述べました。

動機

1. 人間の学習に触発され、新しいタスクを学ぶために、私たちはしばしば、我々は、関連するタスクを学習することで獲得した知識を適用します。
2. 私たちは、誘導移転の形態として、マルチタスク学習を表示することができます。インダクティブ転送は、一般的に、より良い一般化ソリューションにつながる誘導バイアスを導入することによって、モデルを向上させることができます。

ディープ学習のための二つのMTL方法

1. ハードパラメータの共有

   1. 異なるタスクの共有表現を取得
   2. 過学習のリスクを低減
   3. 回路図

   

2. Soft Parameter Sharing

   1. each task has its own model with its own parameters
   2. encourage the parameters to be similar using regulations
   3. schematic diagram

   

Recent work on MTL for NLP

Keep updating…

1. Sluice networks: Learning what to share between loosely related tasks. Ruder, S., Bingel, J., Augenstein, I., and Søgaard, A. . AAAI 2019, code
   

2. Multi-Task Learning for Machine Reading Comprehension. Xu Y, Liu X, Shen Y, et al. arXiv preprint arXiv:1809.06963, 2018.

   

3. MS MARCO leaderboard: S-Net, V-Net… see Analysis.

Discussion

1. How to design suitable auxiliary tasks for the main task?
2. Shared representation and task-specific representation are of equal importance？
3. Noise from related tasks is helpful?

References

1. ルーダーS.深いニューラルネットワークにおけるマルチタスク学習の概要[J]。arXivのプレプリントのarXivの：1706.05098、2017。
2. 徐Y、劉X、Yシェンら。機械読解のためのマルチタスク学習[J]。arXivのプレプリントのarXivの：1809.06963、2018。
3. ルーダー、S.、Bingel、J.、Augenstein、I.、およびSøgaard、A.（2017）。水門ネットワーク：ゆるく関連のタスク間で共有するために何を学びます。
4. 学習カルアナR.マルチタスク[J]。機械学習、1997、28（1）：41から75。
5. ウィキペディア：https://en.wikipedia.org/wiki/Multi-task_learning