参考: uie モデルの微調整個人的なまとめ
github: https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
1. メモリの問題
以前、研究室サーバー (2080ti、ビデオメモリ 12G) で実行していましたが、元
のバッチサイズが 16 で、4 に調整しても、しばらく実行すると上記の問題が発生するというエラーが頻繁に報告されました。分析した結果、ビデオ メモリ不足が原因であることがわかります。
2. オンライン GPU: ボリュームに応じて請求されます
購入リンク: https://ai.baidu.com/bml/
新規ユーザーには 50 時間の無料割り当てがあります。追加のトレーニングの請求: 32 GB のビデオ メモリ
を選択します。微調整プロセス中の使用量は次のとおりです。
3. インストールパッケージ
- paddlepaddle-GPU、GPU のバージョンに注意してください
- Visualdl-2.4.2、そうでない場合は、エラーが発生します: 'LogWriter' オブジェクトには属性 'add_text' がありません
4. 走る
リンク内の環境設定を参照して、スクリプトを実行します: https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
私の言いたいことは、上記のリンクを複製することです。
- uie フォルダーにデータ フォルダーを追加して、マークされたコーパスを doccano 形式で保存します。
- doccano.py ファイルを実行して、プロンプト形式でデータセットを生成します。
- Finetune.py ファイルを実行し、トレーニングを実行するためのパラメーターを変更します。
【参考】
