はじめに： 2020年10月、Alibaba Cloudは、NLPシナリオ向けの業界初のディープトランスファー学習フレームワークであるディープトランスファーラーニングフレームワークEasyTransferを公式にオープンソース化しました。現在、この機能を統合したAIエクスペリエンスホールが正式に開始されており、無料で体験できます：https：//workbench.data.aliyun.com/experience.htm#/paiAbilityVenue/
2020年10月、Alibaba Cloudは、NLPシナリオ向けの業界初のディープトランスファー学習フレームワークであるディープトランスファーラーニングフレームワークEasyTransferを公式にオープンソース化しました。オープンソースリンク：https：//github.com/alibaba/EasyTransfer
現在、この機能を統合したAIエクスペリエンスホールが正式に開始されました。無料のエクスペリエンス：https：//workbench.data.aliyun.com/experience.htm# / paiAbilityVenue /
ユーザーは簡単にクリックでき、無料のエクスペリエンスには、NLP（記事の分類、コンテンツのレビュー）、画像の分類、音声認識、ビデオの分類、およびビデオのハイライトの自動生成が含まれます。
今日は、AIエクスペリエンスホールの裏側に連れて行って、NLPの最先端テクノロジーの謎を解き明かします。
EasyTransferフレームワークは、Alibaba Cloud Machine Learning PAIチームによって開発されました。これにより、モデルの事前トレーニングと移行学習の開発、および自然言語処理シナリオの展開がより簡単かつ効率的になります。
自然言語処理シナリオのディープトランスファー学習は、実際のシナリオでは大きな需要があります。多くの新しい分野が絶えず出現しているため、従来の機械学習では、分野ごとに大量のトレーニングデータを蓄積する必要があり、多くの人的資源を消費します。と注釈。材料リソース。ディープトランスファー学習テクノロジーは、ソースドメインで学習した知識を新しいドメインのタスクに転送できるため、アノテーションのリソースを大幅に削減できます。
自然言語シナリオのディープトランスファー学習には多くの要件がありますが、オープンソースコミュニティにはまだ完全なフレームワークがなく、シンプルで使いやすく、高性能なフレームワークを構築することは大きな課題です。
まず、事前トレーニングモデルと知識伝達が主流のNLPアプリケーションモードになりました。一般に、事前トレーニングモデルのサイズが大きいほど、知識表現の学習効果が高くなります。ただし、超大規模モデルには大きな課題があります。フレームワークの分散アーキテクチャに。超大規模モデルトレーニングを効果的にサポートするための高性能分散アーキテクチャを提供する方法。
第二に、ユーザーアプリケーションシナリオの多様性が非常に高く、単一の移行学習アルゴリズムを適用することはできません。ダウンストリームシナリオの効果を改善するための完全な移行学習ツールを提供する方法。
第三に、通常、アルゴリズムの開発からビジネスの着陸までに長いリンクが必要です。モデルのトレーニングから展開まで、シンプルで使いやすいワンストップサービスを提供する方法。
これらの3つの課題に直面して、PAIチームはEasyTransferを立ち上げました。これは、シンプルで使いやすく、高性能な転移学習フレームワークです。このフレームワークは、主流の移行学習アルゴリズムをサポートし、自動混合精度、コンパイルの最適化、および効率的な分散データ/モデル並列戦略をサポートし、産業グレードの分散アプリケーションシナリオに適しています。
EasyTransferでサポートされるALBERTモデルは、精度、コンパイルの最適化、分散戦略が混在しているため、分散トレーニングの計算速度において、コミュニティバージョンのALBERTよりも4倍以上高速です。
同時に、Ali内で10を超えるBUと20を超えるビジネスシナリオを経て、業界をリードする高性能の事前トレーニングツールチェーンや事前トレーニングModelZooなど、NLPおよび移行学習ユーザーにさまざまな利便性を提供します。 、豊富で使いやすいAppZoo、効率的な移行学習アルゴリズム、AlibabaのPAIエコロジカル製品との完全な互換性により、モデルのトレーニングから展開までのワンストップサービスをユーザーに提供します。
AlibabaCloud機械学習PAIチームの責任者であるLinWei氏は、次のように述べています。このオープンソースのEasyTransferコードは、より多くのユーザーにAliの機能を提供し、NLPの事前トレーニングと知識の伝達のしきい値を下げ、より多くのパートナーと緊密に連携することを望んでいます。 。シンプルで使いやすい高性能のNLPおよび移行学習ツールを作成します。
EasyTransferツールのフレームワークの概要EasyTransferの
全体的なフレームワークを次の図に示します。これにより、設計における深層伝達学習のアルゴリズム開発の難しさが可能な限り単純化されます。フレームワークは、一般的に使用されるIO、レイヤー、損失、オプティマイザー、モデルを抽象化します。ユーザーは、これらのインターフェイスに基づいてモデルを開発するか、事前にトレーニングされたモデルライブラリModelZooに直接アクセスして迅速なモデリングを行うことができます。このフレームワークは、5つの転送学習（TL）パラダイム、モデルの微調整、機能ベースのTL、インスタンスベースのTL、モデルベースのTL、およびメタ学習をサポートします。同時に、フレームワークはAppZooを統合し、主流のNLPアプリケーションをサポートし、ユーザーが一般的に使用されるNLPアルゴリズムアプリケーションを構築するのを容易にします。最後に、フレームワークはPAIエコロジカル製品とシームレスに互換性があり、ユーザーはトレーニングから展開までワンストップで体験できます。
業界をリードする高性能の事前トレーニングツールチェーンと事前トレーニングModelZooEasyTransfer
フレームワークは、産業グレードの分散アプリケーションシナリオをサポートし、分散オプティマイザーを改善し、自動混合精度、コンパイル最適化、および効率的な分散データ/モデル並列戦略と連携します。コンピューティング速度において、マルチマシンマルチカード分散トレーニングのコミュニティバージョンよりも4倍高速です。この高性能の分散ベースに基づいて、フレームワークは完全な事前トレーニングツールチェーンを起動し、ユーザーがBERTやALBERTなどの言語モデルを事前トレーニングできるようにします。事前トレーニングツールに基づくモデルは、マルチラウンドダイアログリストQuACの1位（2019年10月）や中国のCLUEリストなどの複数の公開リストで良好な結果を達成していることは言及する価値があります。1位（12月） 2019）、および英語の瞬間接着剤リストで2位。同時に、EasyTransferは、BERT、ALBERT、XLNetなどの主流モデルをサポートする事前トレーニングモデルModelZoo、Continual Pretrain、Finetuneを統合し、PAIプラットフォームでトレーニングされた高品質の事前トレーニングモデルと自己トレーニングモデルも統合します。 eコマースシーンのマルチモーダルモデルFashionBERTを開発しました。
リッチで使いやすいAppZooと知識の蒸留
EasyTransferはAppZooをカプセル化します。これは、非常に使いやすく、柔軟性があり、学習コストが低く、ユーザーが「最先端の」オープンソースと自社開発のアルゴリズムを実行できるようにサポートします。ほんの数行のコマンドで「大規模」、つまり、テキストのベクトル化、マッチング、分類、読解、シーケンスのラベル付けなど、さまざまなシナリオやビジネスデータの下でNLPアプリケーションにすばやくアクセスできます。また、豊富な知識の蒸留アルゴリズムが統合されているため、ユーザーは、パラメーターが少なく、推論速度が遅い大きなモデルから、パラメーターが少なく推論パフォーマンスが高い小さなオンラインモデルを抽出できます。たとえば、EasyTransferはタスク適応蒸留モデルAdaBERTを統合します。ニューラルアーキテクチャ検索（NAS）の新しい観点から、ターゲットタスクに最適な小さなモデルアーキテクチャを検索します。6つの古典的なNLPタスクでは、BERTモデルは次のとおりです。オリジナルの1 / 17〜1 / 10に圧縮され、推論速度はオリジナルの最大12〜29倍になります。同時に、モデルの対応する論文は、トップAI会議IJCAI2020によって受け入れられました。
効率的な転送学習アルゴリズム
EasyTransferフレームワークは、モデルの微調整、機能ベースのTL、インスタンスベースのTL、モデルベースのTL、メタ学習など、すべての主流の転送学習パラダイムをサポートします。これらの移行学習パラダイムに基づいて、10を超えるアルゴリズムが開発され、Aliのビジネス慣行で良好な結果が達成されました。以降のすべてのアルゴリズムは、EasyTransferコードベースにオープンソース化されます。特定のアプリケーションでは、ユーザーは次の図に従って効果をテストするための転移学習パラダイムを選択できます。
マルチタスク用の自己開発メタラーニングアルゴリズムの
統合EasyTransferフレームワークは、メタラーニングに基づくマルチタスク学習アルゴリズムを統合します。これにより、ユーザーは、特定のタスクのモデルをトレーニングするときに、他のタスクのデータセットを使用して学習を強化できます。EasyTransferは、自己開発のメタ微調整アルゴリズムを統合し、メタ学習のアイデアを利用して、事前にトレーニングされた言語モデルのクロスドメインメタリーナーを学習することを目的としています。タスクの特定のドメインにすばやく転送されます。このアルゴリズムの対応する論文は、トップNLP会議EMNLP2020によって受け入れられました。上記のモデルはまだパラメータが多すぎて推論速度が遅いため、EasyTransferチームはメタ知識蒸留アルゴリズムをさらに自己開発しました。蒸留段階では、メタリーナーがさらに選択的に蒸留され、蒸留によって得られた小さなモデルが得られます。は対応するフィールドにあります。効果は大幅に改善され、元のモデルの効果に近くなります。関連するコードと論文は近い将来リリースされるでしょう。
アリババのPAIエコロジカル製品
と完全に互換性EasyTransferフレームワークはPAI-Tensorflowと完全に互換性があり、ユーザーは簡単なコードまたは構成ファイルの変更を通じて、PAIが独自に開発した効率的な分散トレーニング、コンパイル、最適化機能を使用できます。同時に、フレームワークは完全にPAIエコロジカル製品と互換性があり、PAI Webコンポーネント（PAI Studio）、開発プラットフォーム（PAI DSW）、クラウドネイティブトレーニングプラットフォーム（PAI DLC）、およびPAIサービングプラットフォーム（PAI EAS）で直接使用できます。
アプリケーションランディングと革新的なアルゴリズムソリューション。
EasyTransferフレームワークは、インテリジェントなカスタマーサービス、検索の推奨、セキュリティリスク管理、大規模なエンターテインメントなど、Alibaba Group内の数十のNLPシナリオに実装されており、大きなビジネス効果をもたらしています。現在、EasyTransferの毎日のサービスへの呼び出しは数億回あり、月間平均トレーニング呼び出し量は50,000を超えています。EasyTransferチームは、メタ学習、マルチモーダル事前トレーニング、強化された転送学習、機能転送学習、その他の方向性など、ビジネスの着陸時に多くの革新的なアルゴリズムソリューションを蓄積してきました。合計数十のトップカンファレンス記事が公開されています。 。、代表的な作品をいくつかご紹介します。これらのアルゴリズムの一部はオープンソースであり、他の部分はユーザーが使用できるようにEasyTransferフレームワークでオープンソースになります。
[EMNLP2020]。マルチドメインテキストマイニングのためのメタ微調整ニューラル言語モデル。2020.
[SIGIR2020] FashionBERT：適応損失のあるファッションドメインのテキストと画像のマッチング。2020.
[IJCAI 2020] AdaBERT：微分可能なニューラルアーキテクチャ検索によるタスク適応型BERT圧縮。2020年。
[KDD2019]。インスタンスベースの選択的転送学習のためのミニマックスゲーム。2019
[CIKM 2019]。Eコマース検索用のWassersteinRegularizersを使用したクロスドメインアテンションネットワーク、2019年。
[ WWW2019 ]。レビューの有用性予測のためのマルチドメインゲートCNN、2019年。
[WSDM2019]。選択的に転送することを学ぶ：深いテキストマッチングのための強化された転送学習。2019年。
[WSDM2018]。Eコマースにおける検索ベースの質問応答システムでの転移学習のためのドメイン関係のモデリング。2018.
[ACL2018]。Eコマースの情報探索会話におけるコンテキストアウェア質問マッチングのための転移学習。2018.
[ICDM2017]。マルチタスク畳み込みニューラルネットワークを使用した短期降雨予測モデル。2017年。
著者：Cen Ming /ブドウ
元のリンク：https ：//developer.aliyun.com/article/782127？
著作権表示： この記事の内容は、Alibaba Cloudの実名登録ユーザーによって自発的に提供されています。著作権は元の作成者に帰属します。AlibabaCloud開発者コミュニティはその著作権を所有せず、対応する法的責任を負いません。具体的なルールについては、「Alibaba Cloud DeveloperCommunityユーザーサービス契約」および「AlibabaCloudDeveloperCommunity知的財産保護ガイドライン」を参照してください。このコミュニティで盗用の疑いがある場合は、侵害の申し立てフォームに記入して報告してください。確認されると、コミュニティは侵害の疑いのあるコンテンツをすぐに削除します。