Alibaba CloudオープンソースEasyTransfer：NLPシナリオ向けの業界初のディープトランスファー学習フレームワーク
元のリンク：https：//zhuanlan.zhihu.com/p/267392773
Alibaba Cloudは、ディープトランスファー学習フレームワークEasyTransferを公式にオープンソース化しています。この記事では、EasyTransferフレームワークのコア機能について詳しく紹介します。
マシンの心臓部、機械の心臓部の編集部が解放されます。
最近、Alibaba Cloudは、NLPシナリオ向けの業界初のディープトランスファー学習フレームワークであるディープトランスファーラーニングフレームワークEasyTransferを公式にオープンソース化しました。
オープンソースリンク：https：// github.com/alibaba/Easy Transfer
このフレームワークは、Alibaba Cloud Machine Learning PAIチームによって開発され、自然言語処理シナリオのモデル事前トレーニングと移行学習の開発と展開をより簡単かつ効率的にします。
自然言語処理シナリオのディープトランスファー学習は、実際のシナリオでは大きな需要があります。多くの新しい分野が絶えず出現しているため、従来の機械学習では、分野ごとに大量のトレーニングデータを蓄積する必要があり、多くの人的資源を消費します。と注釈。材料リソース。ディープトランスファー学習テクノロジーは、ソースドメインで学習した知識を新しいドメインのタスクに転送できるため、アノテーションのリソースを大幅に削減できます。
自然言語シナリオのディープトランスファー学習には多くの要件がありますが、オープンソースコミュニティにはまだ完全なフレームワークがなく、シンプルで使いやすく、高性能なフレームワークを構築することは大きな課題です。
まず、事前トレーニングモデルと知識伝達が主流のNLPアプリケーションモードになりました。一般に、事前トレーニングモデルのサイズが大きいほど、知識表現の学習効果が高くなります。ただし、モデルが大きいと、フレームワークの分散アーキテクチャ。超大規模モデルトレーニングを効果的にサポートするための高性能分散アーキテクチャを提供する方法。
第二に、ユーザーアプリケーションシナリオの多様性が高く、単一の移行学習アルゴリズムを適用することはできません。ダウンストリームシナリオの効果を改善するための完全な移行学習ツールを提供する方法。
第三に、通常、アルゴリズムの開発からビジネスの着陸までに長いリンクが必要です。モデルのトレーニングから展開まで、シンプルで使いやすいワンストップサービスを提供する方法。
これらの3つの課題に直面して、PAIチームは、シンプルで使いやすく、高性能な転移学習フレームワークであるEasyTransferを立ち上げました。このフレームワークは、主流の移行学習アルゴリズムをサポートし、自動混合精度、コンパイルの最適化、および効率的な分散データ/モデル並列戦略をサポートし、産業レベルの分散アプリケーションシナリオに適しています。
EasyTransferでサポートされるALBERTモデルは、精度、コンパイルの最適化、分散戦略が混在しているため、分散トレーニングの計算速度の点で、コミュニティバージョンのALBERTよりも4倍以上高速です。
同時に、Ali内で10を超えるBUと20を超えるビジネスシナリオを経て、業界をリードする高性能の事前トレーニングツールチェーンや事前トレーニングModelZooなど、NLPおよび移行学習ユーザーにさまざまな利便性を提供します。 、豊富で使いやすいAppZoo、効率的な移行学習アルゴリズム、AlibabaのPAIエコロジカル製品との完全な互換性により、モデルのトレーニングから展開までのワンストップサービスをユーザーに提供します。
アリババクラウドの機械学習PAIチームの責任者であるLinWei氏は、次のように述べています。 。シンプルで使いやすい高性能のNLPおよび移行学習ツールを作成します。
フレームワークの6つのハイライト
- シンプルで高性能なフレームワーク：複雑な基盤となる実装をシールドし、ユーザーはモデルの論理構造に注意を払うだけで、NLPと移行学習の参入障壁を低くします。同時に、フレームワークは産業グレードの分散アプリケーションシナリオをサポートします。自動混合精度、コンパイル最適化、および効率的な分散データ/モデル並列戦略により、計算速度は、コミュニティバージョンのマルチマシンマルチカード分散トレーニングよりも4倍以上高速です。
- 言語モデルの事前トレーニングツールチェーン：完全な事前トレーニングツールチェーンをサポートします。これは、ユーザーがT5やBERTなどの言語モデルを事前トレーニングするのに便利です。このツールチェーンに基づく事前トレーニングモデルは、中国のCLUEリストと英語のSuperGLUEリストの成績
- 豊富で高品質の事前トレーニング済みモデルModelZoo：PAI-ModelZooをサポートし、Bert、Albert、Roberta、XLNet、T5、およびContinuePretrainとFinetuneの他の主流モデルをサポートします。同時に、アパレル業界の自社開発マルチモーダルモデルFashionbertなどをサポートしています。
- リッチで使いやすいアプリケーションAppZoo：主流のNLPアプリケーションと、テキストマッチングの下でのDAM ++やHCNNなどのシングルタワーモデル、BERTダブルタワー+ベクトルリコールモデルなどの自己開発モデルアプリケーションをサポートします。BERT-HAEをサポートします。読解力同等モデル
- 自動知識蒸留ツール：大規模な教師モデルから小規模な学生モデルに蒸留できる知識蒸留をサポートします。タスク対応BERTモデル圧縮AdaBERTを統合し、ニューラルネットワークアーキテクチャ検索を使用してタスク関連アーキテクチャを検索し、元のBERTモデルを圧縮します。元のBERTモデルは、元のモデルの最大1/17まで圧縮でき、推論は最大29増加します。効果の損失は3％以内です。
- PAIエコロジカル製品との互換性：フレームワークはPAI-TFに基づいて開発されています。ユーザーは、PAIの自己開発された効率的な分散トレーニング、コンパイルの最適化、およびその他の機能を、簡単なコードまたは構成ファイルの変更を通じて使用できます。同時に、フレームワークは完全です。 PAI Webコンポーネント（PAI Studio）、開発プラットフォーム（PAI DSW）、PAIサービングプラットフォーム（PAI EAS）などのPAIエコロジカル製品と互換性があります。
プラットフォームアーキテクチャの概要
EasyTransferの全体的なフレームワークを次の図に示します。これにより、設計におけるディープトランスファー学習のアルゴリズム開発の難しさが可能な限り単純化されます。このフレームワークは、一般的に使用されるIO、レイヤー、損失、オプティマイザー、モデルを抽象化します。ユーザーは、これらのインターフェイスに基づいてモデルを開発するか、トレーニング前のモデルライブラリModelZooに直接アクセスして迅速なモデリングを行うことができます。このフレームワークは、5つの転送学習（TL）パラダイム、モデルの微調整、機能ベースのTL、インスタンスベースのTL、モデルベースのTL、およびメタ学習をサポートします。同時に、フレームワークはAppZooを統合し、主流のNLPアプリケーションをサポートし、ユーザーが一般的に使用されるNLPアルゴリズムアプリケーションを構築するのを容易にします。最後に、フレームワークはPAIエコロジカル製品とシームレスに互換性があり、ユーザーはトレーニングから展開までワンストップで体験できます。
詳細なプラットフォーム機能
EasyTransferフレームワークのコア機能については、以下で詳しく説明します。
シンプルで使いやすいAPIインターフェースデザイン
高性能分散フレームワーク
EasyTransferフレームワークは、産業グレードの分散アプリケーションシナリオをサポートし、分散オプティマイザーを改善し、自動混合精度、コンパイル最適化、および効率的な分散データ/モデル並列戦略と連携して、マルチマシンマルチカード分散トレーニングのコミュニティバージョン以上のものを実現します計算速度は4倍以上高速です。
リッチModelZoo
このフレームワークは、ユーザーが独自の事前トレーニングモデルをカスタマイズするための一連の事前トレーニング言語モデルツールを提供し、ユーザーが直接呼び出すための事前トレーニング言語モデルライブラリModelZooも提供します。現在、20以上の事前トレーニングモデルがサポートされています。その中で、PAIプラットフォームで事前トレーニングされたPAI-ALBERT-zhが中国語のCLUEリストで1位を獲得し、PAI-ALBERT-en-largeが英語で2位を獲得しました。強力接着剤。以下は、事前にトレーニングされたモデルの詳細なリストです。
CLUEリストに対する事前トレーニング済みモデルの影響：
瞬間接着剤の効果：
リッチAppZoo
EasyTransferはAppZooをカプセル化します。これは、非常に使いやすく、柔軟性があり、学習コストが低く、ユーザーが数行のコマンドで「最先端の」オープンソースおよび自己開発アルゴリズムを大規模に実行できるようにします。データの下にあるさまざまなシナリオやビジネスのNLPアプリケーションにすばやくアクセスするには、テキストのベクトル化、マッチング、分類、読解、シーケンスのラベル付けなどがあります。
効率的な転移学習アルゴリズム
EasyTransferフレームワークは、モデルの微調整、機能ベースのTL、インスタンスベースのTL、モデルベースのTL、メタ学習など、すべての主流の転送学習パラダイムをサポートします。これらの移行学習パラダイムに基づいて、10を超えるアルゴリズムが開発され、Aliのビジネス慣行で優れた結果を達成しています。以降のすべてのアルゴリズムは、EasyTransferコードベースにオープンソース化されます。特定のアプリケーションでは、ユーザーは次の図に従って効果をテストするための転移学習パラダイムを選択できます。
事前に訓練された言語モデル
自然言語処理のホットトピックの1つは、BERT、ALBERTなどの言語モデルの事前トレーニングです。これらのモデルは、さまざまな自然言語処理シナリオで非常に優れた結果を達成しています。ユーザーが事前にトレーニングされた言語モデルを使用するのをより適切にサポートするために、事前にトレーニングされた言語モデルと事前にトレーニングされた言語モデルライブラリModelZooの一連の標準パラダイムを新しいバージョンの転移学習フレームワークEasyTransferに組み込みました。次の図に示すように、パラメーターの合計量を減らすために、従来のアルバートはバートのエンコーダーをスタックする方法をキャンセルし、代わりにエンコーダーループの方法を採用しました。フルループ方式はダウンストリームタスクではうまく機能しないため、2層スタックエンコーダでフルループをフルループに変更しました。次に、英語のC4データに基づいてAlbertxxlargeを再トレーニングしました。事前トレーニングプロセスでは、MLM損失のみを使用し、単語全体のマスキングと組み合わせて使用します。EasyTransferのTrain on the Fly機能に基づいて、動的オンラインマスキングを実装しました。これは、マスキングを毎回動的に生成できることを意味します。元の文が読み取られます。トークン。最終的な事前トレーニングモデルであるPAI-ALBERT-en-largeは、SuperGLUEリストで世界第2位、中国で第1位にランクされています。モデルパラメータは最初のGoogle T5のわずか1/10であり、効果のギャップは3.5以内です。 ％。将来的には、モデルフレームワークの最適化を継続し、モデルパラメータの1/5でT5よりも優れた結果を達成するよう努めます。
マルチモーダルモデルFashionBERT
Webテクノロジーの発展に伴い、インターネットには、テキスト、画像、音声、ビデオなどを含む大量のマルチモーダル情報が含まれています。大規模なマルチモーダル情報から重要な情報を検索することは、常に学術研究の焦点でした。マルチモーダルマッチングの中核はテキストと画像のマッチングです。これも基礎研究です。クロスモダリティIRや画像キャプションの生成など、多くの分野で多くのアプリケーションがあります。）、画像の質問応答システム（ビジョンの質問応答） 、画像知識推論（ビジュアルコモンセンス推論）。しかし、現在の学術研究は一般分野のマルチモーダル研究に焦点を当てており、eコマースの分野でのマルチモーダル研究は比較的少ない。これに基づき、Ali ICBUチームと協力して、eコマース分野のグラフィック情報に関する事前トレーニング研究を実施するFashionBERTマルチモーダル事前トレーニングモデルを提案し、クロスなどの複数のビジネスシナリオで成功を収めています。 -モーダル検索とグラフィックマッチング。アプリケーション。モデルアーキテクチャ図を以下に示します。この作品は、グラフィックマッチング、純粋な画像、純粋なテキストの3つの部分の損失のバランスをとるために使用される適応損失を提案します。
タスク適応型知識蒸留
事前トレーニングモデルは、大量の教師なしデータから一般的な知識を抽出し、知識の伝達方法を通じてダウンストリームタスクの効果を向上させ、シーンで優れた結果を実現します。一般に、事前トレーニングモデルのサイズが大きいほど、学習した知識表現はダウンストリームタスクに対してより効果的であり、インデックスの改善はより明白になります。ただし、大型モデルは明らかに産業用アプリケーションの適時性要件を満たすことができないため、モデルの圧縮を考慮する必要があります。私たちはAlibabaIntelligent Computingチームと協力して、微分可能ニューラルアーキテクチャ検索を使用してBERTをタスク適応型の小さなモデルに自動的に圧縮する新しい圧縮方法AdaBERTを提案しました。このプロセスでは、BERTを教師モデルとして使用して、ターゲットタスクに関する有用な知識を洗練します。この知識のガイダンスの下で、ターゲットタスクに適したネットワーク構造を適応的に検索し、圧縮して小規模な学生を取得します。モデル。複数のNLPパブリックタスクについて実験的評価を実施しました。その結果、AdaBERTによって圧縮された小さなモデルでは、推論速度が元のBERTの12.7〜29.3倍、パラメータースケールが11.5〜17.0倍小さいことが保証されます。オリジナルBERT。。
QAシナリオエリア関係学習
2017年には、Alibaba XiaomiのQ＆Aシーンで移行学習を試し、主にDNNベースの教師ありTLに焦点を当てました。このタイプのアルゴリズムには2つの主要なフレームワークがあります。1つは完全共有（FS）で、もう1つは特定共有（SS）です。2つの最大の違いは、前者は共有表現のみを考慮し、後者は特定の表現のみを考慮することです。一般的に、FSはSSの特殊なケースと見なすことができるため、SSのモデル効果はFSのモデル効果よりも優れています。SSの場合、理想的なケースでは、共有部分は2つのフィールドの共通性を表し、特定の部分は特性を表します。ただし、この効果を実現するのは難しい場合が多いため、モデルがこれら2つの機能を学習できるように、敵対的損失とドメイン相関を使用することを検討します。これに基づいて、アーキテクチャが次のような新しいアルゴリズムhCNN-DRSSを提案します。
このアルゴリズムをXiaomiの実際のビジネスシナリオに適用し、複数のビジネスシナリオ（AliExpress、ビエンチャン、ラザダ）で良好な結果を達成しました。同時に、WSDM2018：Eコマースの検索ベースの質問応答システムでの転送学習のためのドメイン関係のモデリングに関する記事も作成しました。JianfeiYu、Minghui Qiu、et al。、WSDM2018。
強化された転移学習
移行学習の効果は、ソースドメインとターゲットドメイン間のギャップに大きく依存します。ギャップが比較的大きい場合、移行は無効になる可能性があります。Xiaomi QAシナリオでは、Quoraのテキストマッチングデータを直接移行する場合、それらの多くは適切ではありません。XiaomiのQAシナリオでは、Actor-Criticアルゴリズムに基づいて一般的な強化された転送学習フレームワークを構築し、サンプルの選択にRLを使用して、TLモデルがより良い結果を達成できるようにしました。モデル全体は、基本的なQAモデル、転移学習モデル（TL）、強化学習モデル（RL）の3つの部分に分かれています。その中で、RLのポリシー機能は、高品質のサンプル（アクション）の選択を担当します。TLモデルは、選択されたサンプルでQAモデルをトレーニングし、RLにフィードバックを提供します。RLは、フィードバック（報酬）に従ってアクションを更新します。このフレームワークによってトレーニングされたモデルは、Double 11AliExpressでのAliExpressのロシア語とスペイン語の両方のマッチングモデルのマッチング精度を大幅に向上させました。同時に、結果を論文にまとめ、WSDM2019で公開しました（選択的転送の学習：ディープテキストマッチングのための強化された転送学習。ChenQu、Feng Ji、Minghui Qiu、他、WSDM2019）。
元调优 Meta Fine-tuning
事前トレーニング言語モデルの幅広いアプリケーションにより、事前トレーニング+微調整の2段階トレーニングモデルが主流になります。微調整の段階では、モデルパラメータは特定のフィールドと特定のデータセットでのみ微調整され、クロスドメインデータの移行と調整の影響は考慮されていないことに気付きました。メタチューニング（メタ微調整）アルゴリズムは、メタ学習のアイデアを利用し、事前にトレーニングされた言語モデルのクロスドメインメタラーナーを学習することを目的としているため、学習したメタラーナーをすばやく移行できます特定のドメインのタスクに。このアルゴリズムは、トレーニングデータサンプルのクロスドメインの典型性（つまり転送可能性）を学習し、ドメイン破損分類子をトレーニング前の言語モデルに追加して、モデルがより多くのドメイン不変表現を学習するようにします。
微調整アルゴリズムをBERTに適用し、自然言語の推論や感情分析などの複数のタスクで実験を行いました。実験結果は、メタ調整アルゴリズムが、BERTの元の微調整アルゴリズムおよびこれらのタスクでの転移学習に基づく微調整アルゴリズムよりも優れていることを示しています。また、結果を論文にまとめ、EMNLP 2020で公開しました（マルチドメインテキストマイニングのためのメタ微調整ニューラル言語モデル。ChengyuWang、Minghui Qiu、Jun Huang、他、EMNLP 2020）。
メタ知識の蒸留
BERTなどの事前トレーニングされた言語モデルがさまざまなタスクでSOTA効果を達成したため、BERTなどのモデルはNLPディープマイグレーション学習パイプラインの重要な部分になりました。しかし、BERTは完璧ではありません。このタイプのモデルには、モデルパラメータが多すぎることと、トレーニング/推論速度が遅いことの2つの問題があります。したがって、1つの方向は、BERTの知識を小さなモデルに抽出することです。ただし、知識蒸留作業のほとんどは同じ分野に焦点を当てており、分野間の蒸留タスクを改善するという問題は無視しています。メタ学習を使用して、ドメイン間の移転可能な知識を学習し、さらに蒸留段階で移転可能な知識を蒸留することを提案します。このアプローチにより、対応する分野で学習した生徒モデルの効果が大幅に向上しました。教師モデルの効果に近い、複数のクロスドメインタスクでより優れた生徒モデルを抽出しました。近い将来、この作業を整理し、コードと記事を公開する予定です。
革新的な記事のリスト
EasyTransferフレームワークは、インテリジェントなカスタマーサービス、検索の推奨、セキュリティリスク管理、大規模なエンターテインメントなど、アリババグループの数十のNLPシナリオに実装されており、ビジネスに大きな影響を与えています。現在、EasyTransferの毎日のサービスへの呼び出しは数億回あり、月間平均トレーニング呼び出し量は50,000を超えています。EasyTransferチームは、メタ学習、マルチモーダル事前トレーニング、強化された転送学習、機能転送学習、その他の方向性など、ビジネスの着陸時に多くの革新的なアルゴリズムソリューションを蓄積してきました。合計数十のトップカンファレンス記事が公開されています。 。、代表的な作品をいくつかご紹介します。これらのアルゴリズムは、ユーザーが使用できるようにEasyTransferフレームワークでオープンソース化されます。
- [EMNLP2020]。マルチドメインテキストマイニングのためのメタ微調整ニューラル言語モデル。EMNLP2020。フルペーパー。
- [SIGIR 2020] FashionBERT：適応損失のあるファッションドメインのテキストと画像のマッチング。
- [ACM MM2020]構造情報抽出におけるテキストフィールドラベリングのワンショット学習。登場するには、フルオーラルペーパー。
- [IJCAI 2020] AdaBERT：微分可能なニューラルアーキテクチャ検索を使用したタスク適応型BERT圧縮、IJCAI2020。
- [KDD2019]インスタンスベースの選択的転移学習のためのミニマックスゲーム。口頭、KDD2019。
- [CIKM 2019] Eコマース検索用のWassersteinRegularizersを使用したクロスドメインアテンションネットワーク、CIKM2019。
- [WWW 2019]レビューの有用性予測のためのマルチドメインゲートCNN、WWW。
- [SIGIR2019]。会話型質問応答のための履歴モデリングを備えたBERT。SIGIR2019。
- [WSDM2019]。選択的に転送することを学ぶ：深いテキストマッチングのための強化された転送学習。WSDM 2019、フルペーパー。
- [ACL2018]。Eコマースの情報探索会話システムにおけるコンテキストアウェア質問マッチングのための転移学習。ACL。2018年。
- [SIGIR2018]。情報探索会話システムにおけるディープマッチングネットワークと外部知識による応答ランキング。長い紙。
- [WSDM2018]。Eコマースにおける検索ベースの質問応答システムでの転移学習のためのドメイン関係のモデリング、2018年。ロングペーパー。
- [CIKM2017]。AliMe Assist：革新的なEコマースエクスペリエンスを作成するためのインテリジェントアシスタント、CIKM 2017、デモペーパー、ベストデモアワード。
- [ICDM2017]。マルチタスク畳み込みニューラルネットワークを使用した短期降雨予測モデル。ロングペーパー、ICDM2017。
- [ACL2017]。AliMeチャット：シーケンスからシーケンスへのシーケンスと再ランク付けベースのチャットボットエンジン、ACL2017。
- [arXiv]。KEML：語彙関係分類のための知識が豊富なメタ学習フレームワーク、arXiv。