LLM の Chinese-LLaMA-Alpaca-2: ソース コード解釈 (run_clm_sft_with_peft.py ファイル) - モデル トレーニングの事前作業 (パラメーター分析 + 構成ログ) → モデルの初期化 (トレーニング済みチェックポイントがあるかどうかの検出 + 事前トレーニング済みモデルのロード)トークナイザー) → データ前処理 (教師ありタスク用データコレクター + 命令データセット [json 形式]) → モデル構成の最適化 (定量化モジュール + モデルの語彙サイズとトークナイザーのマッチング + 初期化 PEFT モデル [LoRA] + 勾配累積チェックポイント設定など) →モデルトレーニング (トレーニングの継続 + 評価指標 + 中間トレーニング結果の自動保存)/モデル評価 (+PPL 指標)
目次