https://blog.csdn.net/chanbo8205/article/details/84170813
（マルチタスク学習）を学習する転送学習アルゴリズムであるマルチタスク、転送学習（標的ドメイン）、ソースドメインを学ぶために、および標的化するために知識を転送することを学ぶために、ソースフィールドソースドメインおよびターゲット・ドメインの定義として理解しましたドメインは、学習成果（パフォーマンス）を強化するためにドメインをターゲットにしています。
マルチタスク（マルチタスク学習）を学ぶ：私たちの懸念は、単一のタスクに焦点を当てているので、我々は、メトリックを最適化するのに役立つ可能性その他の情報を無視します。具体的には、トレーニング信号は、関連するタスクからそのような情報を。タスクシェアとの相関関係を特徴づけることによって、私たちはより良い元のタスクを要約するために我々のモデルを作ることができます。この方法は、学習（MTL）をマルチタスクと呼ばれています。また、誘導性移行機構であり、主な目標は、汎化能力を改善するために、関連するタスクの数がトレーニング信号で暗黙ドメイン固有の情報を使用することで、共有トレーニングの使用を介して学習マルチタスクは、この目標を達成するために平行複数のタスクを表します。誘導移行は、それによって、学習の効率を高める方法の問題に関連する問題を解決する知識の応用に焦点を当てています。例えば、椅子を学ぶために、テーブルを識別するために使用することができます識別するために学ぶ、実行するために学ぶのを助けることができる歩く能力を習得することを学ぶ、私たちは、関連する学習タスク間で共通の知識を移行することができます。また、複数のタスクが同時に、モデルデータソースの全体的なパラメータの数とサイズを減少予測をより効率的に、予測された共有表現の使用。従って、多くの用途において、マルチタスク学習効果を活用することができ、またはそのようなので、上のスパムフィルタリング、ウェブ検索、自然言語処理、画像認識、音声認識やとしての性能を向上させます。
妄想誘導（誘導バイアス）：誘導移行目標は増加一般化精度、速度および明瞭学習モデルの学習を含む学習の現在のタスクのパフォーマンスを改善するために情報の追加のソースを使用することです。汎化能力を向上させるために移行する方法です大きな誘導パラノイアを提供し、一定の訓練セットに優れた汎化能力を生産、または必要とされる性能の同じレベルを達成するために、訓練サンプルの数を減らすことができます。誘導は、いくつかの仮定を好む、マルチタスク学習が汎化能力を向上させるために偏執的誘導などのミッショントレーニング関連信号における暗黙の情報を使用することである偏執的誘導学習者につながります。誘導性バイアスは、それが直接誘導バイアスの影響を受けることになり、任意の学習システムの誘導バイアスの欠如が有効にできません検索中にモデル空間で検索する方法に関するガイダンス、パフォーマンス上の利点とモデルの欠点のためのアルゴリズムを学んでいます学習。（このような決定木、ニューラルネットワーク、サポートベクターマシンなど）異なる学習アルゴリズムは、実用的な問題解決の人々は、手動での学習アルゴリズムは、実際にはそれが主観的に異なるが選択されているかを決定する必要があり、異なる誘導バイアスを持っています誘導バイアス戦略。非常に直感的なアイデアは、あなたはまた、学習プロセスによって自動的に行われ、誘導バイアスのプロセスを決定することができるかどうか、つまり、「（学ぶための学習）を学ぶ方法を学ぶ」の使用が考えていることです。ちょうど学習マルチタスクは、より強力な誘導バイアスが学習のタスクを懸念して提供し、上記の考え、タスクに含まれる有用な情報、すなわち利用を達成するための実行可能な方法を提供します。
私たちの懸念の一つのタスクに焦点を当てているので、我々は、メトリックを最適化するのに役立つ可能性その他の情報を無視します。具体的には、トレーニング信号は、関連するタスクからそのような情報を。タスクシェアとの相関関係を特徴づけることによって、私たちはより良い元のタスクを要約するために我々のモデルを作ることができます。この方法は、学習（MTL）をマルチタスクと呼ばれています。
MTL多くの形態：共同学習（共同学習）、自己学習（学習する学習）と補助タスク（補助タスクと学習）で学習し、そうMTLを参照することができます。一般に、マルチタスク（反対単一タスク学習に）学習の損失と同等の機能を最適化する複数の。
奥行きの研究では、マルチタスク学習MTLは、通常は隠れ層を共有するハードやソフトのパラメータすることによって達成されます。
ハード共有パラメータが
ハードMTLニューラルネットワークのパラメータは、最も一般的方法を使用している共有、さかのぼることができる[2]。実用的なアプリケーションでは、通常、出力層を達成するために、いくつかの特定のタスクを保持したまま、すべてのタスクの間に中間層を共有することによって。
共有ハード・パラメータを大幅にオーバーフィッティングのリスクを低減します。実際、[3]フィッティングパラメータ上のリスクはO（N）を共有していることを示した-フィッティングパラメータ、即ち、出力層を介して特定のタスクよりも少ない- Nは、タスクの数です。これは単純です：より多くの仕事をしながら、私たちが学ぶ、私たちはすべてのより多くの困難な作業を含有することを特徴とするモデル、及びにくいオーバーフィッティング独自の課題を見つけます。
共有ソフトのパラメーター
ソフトのパラメータを共有する場合、一方では、各タスクは独自のパラメータやモデルがあります。モデルパラメータとの間の距離は、類似のパラメータを促進するために、正規化されます。例えば、距離L2正則化[4]及び[5]ノルムトレース（トレースノルム）を使用。
ソフト制約の深さのアイデアのニューラルネットワークパラメータの共有が大幅MTL正則技術に触発された、このアイデアは、他のモデルの開発に使用されてきました。
なぜ効果的なMTL？
でもマルチタスク学習は、誘導バイアスを取得し、より良いMTLを理解するために、我々はまだそれが基づいてメカニズムを詳しく説明する必要があり、信頼性の高いように見えます。そのうちのほとんどは、もともとカルアナ（1998）提案されました。すべての例については、我々は共通の隠れ層F.キャラに依存している2つの関連タスクAとBを、持っていると仮定
増加したデータの暗黙的な
MTLが効果的に私たちがモデルを訓練するために使用されるサンプルサイズが増加します。特定のタスクのトレーニングモデルに、私たちの目標は、タスクの研究の優れた特性がありながら、ノイズ程度の差が存在するために、すべてのタスクは、理想的には、この特性は、データとして良いと関連するノイズを無視することができます一般化。より一般的な特性を学ぶためにタスクを学ぶと同時に、異なるノイズモードを有する異なるタスク、二つのモデルのため。学習フィッティングタスクAを介してのみ可能タスク、およびAとBは、共同でより良いモードを平均化することによってノイズを特徴付けるためにモデルを研究しています。
注目機構
タスクまたはデータの非常に騒々しいと高次元有限量は、モデルは、関連する機能を区別することは困難である場合は関連しません。関連性や見当違いのために他のタスクは、これらの機能の追加の証拠を提供するため、MTLモデルは、重要な機能に集中することができます。
盗聴（eavesdroping）
Gが容易に研究を、タスクBを学習するが、別の困難な作業であることを特徴とします。これは可能性があるため、より複雑な方法や特性の相互作用、または他の特徴は、Gさんを学ぶためのモデルの能力を妨げるので。MTLことで、私たちは、タスクB G.によって学習すなわち、モデルは「盗聴」できるようにすることができます 最も簡単な方法は、[6]、つまり、直接トレーニングモデルの最も重要な特性を予測するためのヒント（ヒント）を介してです。
バイアスの特性
MTLタスクはモデルバイアスを引き起こす、他のタスクの好みの好みを特徴付けるために。トレーニングミッションの十分な数の良い仮定スペースの性能も同じ環境で新しいタスクを学ぶために良いだろうので、これは[7]、新モデルの一般化タスクに将来に役立つだろう。
正則
正則化項を導入することにより最終的に、MTL誘導バイアス。したがって、モデルのオーバーフィッティングとRademacherの複雑さのリスク（すなわち、ランダムノイズの能力のために）減少させます。
非神経細胞モデルのMTLの
優れたニューラルネットワークMTLの深さを理解するために、我々は、MTLの線形モデル、カーネル法とベイズアルゴリズムの側面についての論文を研究します。特に、我々は、2つの主要なアイデアを議論するマルチタスク学習の歴史の中で遍在している：タスク間の標準正則製造スパース;タスクのモデリングとの間の関係。多くの論文がMTL同型仮説を有することを注意：それらは単一の出力に関連付けられたすべてのタスクは、例えば、データセットの多くのタイプは、典型的にMNIST 10は、バイナリ分類タスクに変換されると仮定する。各タスクは、出力のユニークなセットに対応する異質の問題の仮定の実際の方法に近い最近。
疎なブロック（ブロックスパース）正則
モデルのパラメータの既存の方法の多くは、スパース性の仮定を行います。例えば、全て共有するグループを仮定し、前記モデル[8]。私たちの使命のパラメータの行列が、これはいくつかの行に加えて、すべてのデータは、すべてのタスクが唯一のいくつかの一般的な特性を使用するように対応し、0であることを意味しています。これを達成するために、彼らはL1ノルムMTLに拡張されます。リコール、L1ノルムは、いくつかのパラメータがゼロ以外のすべてのパラメータを強制的にパラメータの制約の合計です。これは、投げ縄（最小絶対収縮および選択オペレーター）が知られています。
我々は、我々は異なるLqとを使用することができ、各ライン上で、私たちの希望の制約を見ることができます。それらはAが0に設定されている行全体につながるので、一般的に、これらは混合ノルム制約L1 / Lqのノルムと呼ばれる、また、ブロックスパース正則化と呼ばれます。[9]混合L1 / L2ノルムを用いてL1 /L∞正則、及びArgyriouら（2007年）を使用。後者はまた、合成投げ縄（群投げ縄）と呼ばれる、最初の[10]によって提案されました。Argyriouら（2007）もまた投げ縄非凸最適化問題の組み合わせが強制ペナルティノルム（トレースノルム）凸問題は、低ランクA（低ランク）となるトラックの数で変換することができることを示し、したがって、結合したカラムパラメータベクトルA _ {1}、...、低次元部分空間で_ {。、T}。[11]さらに、マルチタスク学習を確立投げ縄の組み合わせの使用を制限します。このブロックスパース正則化は、直感的にもっともらしく思えるが、それは機能を共有するための作業の度に大きく依存するが。[12]ショー、特性があまり重ならない場合、要素ののL1 / Lqを正則比よい正則の実際発送（要素毎の）L1悪いです。したがって、[13]ブロック疎なモデルを改善するための一般的なブロック疎な疎及び要素（要素単位スパース）正則化法を提供することによって、組成物。2つの行列BとSにそれらのタスクパラメータA、A = B + S. その後、L1 /L∞正則力Bを使用してブロックスパースで、S投げ縄要素の使用は一般疎になります。最近、[14]分散バージョンのスパース正則化の組み合わせを提案しました。
学習課題との関係
我々のモデルを強制スパース制約の組み合わせにもかかわらず、アカウントにのみいくつかの機能がかかりますが、すべてのタスクのこれらの機能のほとんど。これまでのすべての方法は、仮定に基づいています：マルチタスク学習課題は密接に関連しています。しかし、すべてのタスクが、各タスクに密接に関連していることは不可能です。これらの場合、無関係なタスクで共有される情報は、負のマイグレーション（負転送）として知られる現象を性能モデルを傷つけることができます。そしてスパース異なる、我々は、事前情報を活用したい、と関連するタスクは、関連するタスクがないことに注意しました。この場合、クラスタリングのタスクを強制する制約がより適切であり得ます。{1} {。、 T} [15] ペナルティタスク提案カラムによって_、...、_ノルムベクターおよびそれらが分散クラスタリング制約の形に課される以下の制約があります。
深ネットワーク
MTLのためのコンピュータビジョンでは、通常の方法は、層は、特定のタスクを学ぶことは、完全に接続されている間、畳み込み層を共有することです。[34]ネットワーク（深い関係ネットワーク）の深さによって、これらのモデルを向上することを提案しました。共有構成に加えて、ミッション固有層は、図3に見ることができ、それらは数に類似モデル学習タスクとの関係は、前に見可能にする完全接続層上先験的マトリックス（マトリックス事前確率）を使用しベイズモデル。しかし、この方法では、まだよくコンピュータビジョンの研究のために問題があったかもしれない定義済みのシェア構造に依存している可能であるが、それは新しいタスクがエラーを起こしやすいことを証明しました。
不確実性の体重減少
と学習は、各タスク直交法（直交アプローチ）の不確実性を考慮することによって、[39]構造的に異なる共用しました。その後、ミッションガウス、機能をマルチタスク派生損失を最大化するための意思決定を通じて尤推定の不確実性に基づいて、コスト関数の重みの各タスクの相対量を調節するために。深さ（ピクセル単位の深度回帰）の各画素の退縮、およびセマンティックインスタンスセグメント化アーキテクチャは、図に見ることができる。7。
マシンビジョン研究マルチタスクアプリケーションの広い範囲が、主として含む：
パラレル出力複数のタスクを、異なる使用して分類および回帰または損失関数をしている間、複数のタスクを、そのようなパイプライン、メインタスクの背後にある追加の補助タスクとして。