原則からコード理解言語モデルのトレーニングと推論に至るまで、LLM を理解しやすく、すぐに実践できます。

著者：健康管理者
リンク：https://zhuanlan.zhihu.com/p/656758138

今日は、言語モデルのトレーニングと推論を紹介するブログを共有します。理解しやすく、本質的な核心を捉えています。ぜひ一読をお勧めします。

タイトル: Language Model Training and Inference: From Concept to Code
著者: CAMERON R. WOLFE
原文:
https://cameronrwolfe.substack.com/p/ language-model-training-and-inference

大規模言語モデル (LLM) を理解するには、まずその本質を理解する必要があります。事前トレーニング、微調整、または推論段階のいずれにおいても、中心となるのは次のトークンの予測であり、テキストを左から右に徐々に生成することです。自己回帰的なやり方。

NLP グループに入る -> NLP 交換グループに参加する

トークンとは何ですか?

トークンは、テキスト内の単語またはサブワードを指します。テキストの文が与えられた場合、それを言語モデルに送信する前に最初に行うことは、元のテキストをトークン化すること、つまり、テキストシーケンスを個別のトークンシーケンスに分割することです。

このうち、トークナイザーは、ラベルなしコーパスで学習された固定の固有数のトークンを持つトークナイザーで、ここでのトークン数は、よくみんながボキャブラリーと呼ぶもの、つまり言語モデルで認識されているすべてのトークンの数です。

テキストをセグメント化すると、各トークンは言語モデルの埋め込み層である埋め込みに対応することができ、特定のトークンの埋め込みを取得することはテーブル検索プロセスに似ています。

テキストシーケンスが順序どおりであることはわかっており、共通言語モデルはアテンションメカニズムのトランスフォーマー構造に基づいており、テキストの順序を自動的に考慮することはできません。したがって、位置エンコーディングを手動で追加する必要があります。位置埋め込み. 次に、それを対応する位置のトークン埋め込みに追加します。

モデルのトレーニングまたは推論フェーズでは、コンテキスト長という言葉をよく耳にします。これは、モデルのトレーニング中に受信したトークントレーニングの最大長を指します。トレーニングフェーズ中に、より短い長さの位置埋め込みのみが学習された場合、モデルは推論中です。 . stage は長いテキストには適用できません (長いテキストの位置エンコーディングが認識されていないため)

言語モデルの事前トレーニング

トークンの埋め込みと位置の埋め込みがある場合、それらをデコーダ専用の変換モデルに送信し、各トークンの位置で対応する埋め込みを出力します(これは特徴処理のようなものとして理解できます)。

各トークンの出力埋め込みを取得した後、それを次のトークンの予測に使用できます。実際、これは分類問題として扱われます。

まず、出力の埋め込みを線形層に送信します。出力の次元は語彙のサイズであり、このトークンの次のトークンが語彙の「どのカテゴリ」に属するかを予測します。
出力確率を正規化するには、別のソフトマックス変換が必要です
トレーニング中に、実際の次のトークンを予測できるように、この確率が最大化されます。
推論中に、次のトークンがこの確率分布からサンプリングされます。

トレーニング段階: 因果的自己注意が存在するため、文全体の各トークンの次のトークンを一度に予測し、すべての位置トークンの損失を計算できるため、必要な前方は 1 つだけです

推論フェーズ: 自己回帰的な方法での予測

毎回次のトークンを予測する
予測されたトークンを現在生成されている文に接続します
次に、接続された文に基づいて次のトークンを予測します。
最後まで繰り返します

その中で、次のトークンを予測する場合、毎回のサンプリングの確率分布があり、サンプリング戦略はシナリオに応じて若干異なります。それ以外の場合は、貪欲な戦略、カーネルサンプリング、Top-k サンプリングなどがあります。温度の概念は生成のランダム性を制御するために使用され、温度係数が小さいほど安定します。