中国の事前研修モデルERNIE2.0モデルをダウンロードしてインストール

2019年7月、BaiduのERNIEは、ERNIE継続的な学習2.0、およびERNIEにデータのBaiduの膨大な量を使用し、パドル(PaddlePaddle)複数のマシンカードと効率的なトレーニングの利点を飛ぶこのフレームワーク2.0事前トレーニングモデルを理解するためのセマンティックフレームワークをリリースし、アップグレードニューラルネットワーク技術、データや知識の継続的な学習膨大な量の学習を深さとマルチタスク。事前訓練された、自然言語の形態、構文、セマンティクスの複数の次元の知識を含む知識の10億以上を研究しているに基づいてフレームのAINI(ERNIE)モデルは、NLPの様々な強い共通の意味表現能力がありますシナリオは、かなり効果、効率的かつ便利なの使用を強化します。

どのようにダウンロードして使用するには、この部分のティーチ中!

まず、事前研修モデルのダウンロード

ERNIE 2.0英語ベースモデル
https://ernie.bj.bcebos.com/ERNIE_Base_en_stable-2.0.0.tar.gzは
事前訓練モデルパラメータ、辞書vocab.txt、モデル構成ernie_config.jsonを含みます

ERNIE 2.0英語の大型モデルは
https://ernie.bj.bcebos.com/ERNIE_Large_en_stable-2.0.0.tar.gz
事前に訓練されたモデルパラメータ、辞書vocab.txt、モデル構成のernie_config.jsonを含み

第二に、データのダウンロード

中国のデータ:https://ernie.bj.bcebos.com/task_data_zh.tgz

英語データ:データ・セットが直接英語で利用できないデータ収集プロトコルの問題、以来。GLUEデータのダウンロードはGLUEホームページ(参照してくださいhttps://gluebenchmark.com/tasksをコードし、GLUE(によって提供されたデータのダウンロード)https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2eを)。

すべてのデータセットは、パスが配置され、ダウンロードと仮定し$GLUE_DATAたデータのダウンロードが完了した後、実行はsh ./script/en_glue/preprocess/cvt.sh $GLUE_DATAすべてのデータ形式の変換を完了します、デフォルト変換されたデータはフォルダに出力されます./glue_data_processed/

三、PaddlePaddleインストール

このプロジェクトは、パドル流体1.5に依存して、インストールガイドを参照してください
https://www.paddlepaddle.org.cn/#quick-startインストール用)。

【重要】 インストール後、タイムリーなCUDA、cuDNNへの必要性は、NCCL2他の動的ライブラリパス環境変数をLD_LIBRARY_PATHに追加され、それ以外の訓練プロセスは、ライブラリのエラーに関連するだろう。:Paddlepaddle具体的な構成の詳細は、を参照してください
https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/quick_start_cn.html

あなたは、このような、独自のネットワークを構築するために、現実的な問題のためのモデリングとして、パドルの詳細情報をご希望の場合は、ご参考のための公式からのより多くの文書があります:
基本概念:使用中の流体の基本的な概念
準備データ:流体トレーニングネットワーク、データ伝送方法およびサポートのタイプを使用
設定し、簡単なネットワーク:問題のためにどのようにモデルに、ビルド・ネットワークへの流体関連事業者を活用する
訓練されたニューラルネットワーク:どのようにスタンドアロンの訓練のための流体を使用する方法、マルチマシントレーニングだけでなく、保存と読み込みモデル変数
モデルの評価およびデバッグ:モデル評価及びデバッグ方法を紹介する流体中の
他の依存ERNIEは、インストールするには、次のコマンドを使用し、requirements.txtファイルに記載されています

pip install -r requirements.txt

フォーカスを描きます!
完全なコンテンツとチュートリアルERNIEモデル使用を表示、下のリンクをクリックしてください、スターが、その後の閲覧を容易にするため、プロファイルに追加することをお勧めします。
GitHubの:https://github.com/PaddlePaddle/ERNIEここに画像を挿入説明
反復のバージョンは、最新の開発は、GitHubのに掲載された最初の時間になり、持続的注意を歓迎しました!

グループ内の通信技術の問題にすることができ、みんなのためにタイムリーに質問に答える学生のERNIE発展があるでしょう、760 439 550:ERNIEも公式の技術交流QQグループに参加することを勧めます。
ここに画像を挿入説明

リリース8元の記事 ウォンの賞賛0 ビュー681

おすすめ

転載: blog.csdn.net/qq_40247584/article/details/102917265