NLP その他

北京に来て一週間以上経ち、初期の病気も治りかけていたところ、ようやくラマとViTに合格したので、ここに書き留めておきます——

以前は画像を作成していましたが、大規模なモデルの移行は基本的に NLP 関連の知識です。多くのことと CV の間にはまだギャップがあります。また、大規模なモデルには高い計算能力が必要です。クラウドベースの操作は私にとって習慣です。ドラッグアンドドロップエンジニアはまだ少し不安があるため、NLP、大規模モデル、クラウドコンピューティング、国産フレームワーク、Linux、Docker、ハードウェアに関する知識を補足しました。

MindFormersこれは、HUAWEI CLOUD によって開始された自然言語処理ツールライブラリであり、大規模なモデルのトレーニング、微調整、評価、推論、展開のためのフルプロセスの開発キットをカバーする、豊富な事前トレーニング済みモデルとダウンストリームタスクアプリケーションを提供します。MindSpore Transformers スイートをベースとして、業界の主流の Transformer 事前トレーニングモデルと、豊富な並列機能をカバーする SOTA ダウンストリームタスクアプリケーションを提供します。

CausalLanguageModelDatasetclass は、因果言語モデルデータセットを構築するために MindFormer ライブラリで使用されるクラスです。

自然言語処理タスクでは、因果言語モデル (Causal Language Model) が一般的なモデルタイプであり、主にテキストシーケンス内の因果関係、つまり、単語またはフレーズが後続の単語またはフレーズに及ぼす影響を学習します (よく使用されます)。生成、要約、分類タスクで)

CausalLanguageModelDataset クラスは、因果言語モデルのデータセットを作成および操作するための便利な方法を提供します。指定したデータセットのディレクトリまたはファイルからデータを自動的に読み込み、必要に応じて前処理、バッチ処理、ランダム化などの操作を実行できます。さらに、このクラスは、トレーニング中にデータのさまざまなサブセットを使用して評価および調整するために、データセットをトレーニング、検証、およびテストセットに分割することをサポートしています。CausalLanguageModelDataset クラスを使用すると、パフォーマンスと結果を向上させるための因果言語モデルの構築とトレーニングが容易になります
。

因果言語モデル以外にも、次のような種類の自然言語モデルがあります。

統計的言語モデル: このタイプの言語モデルは、確率分布に基づいて次の単語または文字を予測します。通常、テキストのシーケンスを表すために n グラム (または n グラム) を使用し、最尤推定またはその他の方法を使用して確率を計算します。
ニューラルネットワーク言語モデル: このタイプの言語モデルは、ニューラルネットワークを使用して、テキストのシーケンス全体にわたる確率分布を学習します。通常、エンコーダとデコーダで構成されます。エンコーダは入力シーケンスを隠れ状態に変換し、デコーダは隠れ状態に基づいて出力シーケンスを生成します。
トランスフォーマー言語モデル (トランスフォーマー言語モデル): このタイプの言語モデルは、自己注意メカニズムに基づくニューラルネットワークアーキテクチャであり、機械翻訳やテキスト要約などの自然言語処理タスクで広く使用されています。

ダンプデータ収集とプロファイリングデータ収集はどちらもパフォーマンス分析ツールですが、アプリケーションシナリオは異なります。

ダンプデータの収集は主に、プログラムのクラッシュやメモリリークなどの問題を診断するために使用されます。
プロファイリングデータ収集は主に、どの関数がより頻繁に呼び出されるのか、どのコード行が長いのかなど、プログラムのパフォーマンスのボトルネックを分析するために使用されます。

ModelArts ノート跑LLama：

 	1  git clone -b dev https://gitee.com/mindspore/mindformers.git
    2  cd mindformers
    3  bash build.sh

	cp /user/config/nbstart_hccl.json ./
	bash run_distribute.sh /home/ma-user/work/mindformers/nbstart_hccl.json /home/ma-user/work/mindformers/configs/llama/run_llama_7b.yaml [0,8] train
    tail -f ../output/log/rank_0/info.log

ModelArts ノートブックは ViT を実行します。

git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh
wget https://bj-aicc.obs.cn-north-309.mtgascendic.cn/dataset
ll
mv dataset imageNet2012.tar
ll
tar -xvf imageNet2012.tar 
ls
top  	# 进程的资源占用情况
bash run_distribute.sh /home/ma-user/work/mindformers/scripts/nbstart_hccl.json /home/ma-user/work/mindformers/configs/vit/run_vit_base_p16_224_100ep.ymal [0,8] train

おすすめ