SFT 教師あり微調整の基本概念
SFT (Supervised Fine-Tuning) 教師あり微調整とは、ソース データ セット、つまりソース モデル上でニューラル ネットワーク モデルを事前トレーニングすることを指します。次に、新しいニューラル ネットワーク モデル、ターゲット モデルを作成します。ターゲット モデルは、出力層を除くすべてのモデル設計とそのパラメーターをソース モデルに複製します。これらのモデル パラメーターには、ソース データセットで学習された知識が含まれており、この知識はターゲット データセットにも適用できます。ソース モデルの出力レイヤーはソース データセットのラベルと密接に関連しているため、ターゲット モデルには採用されません。微調整を行う場合は、対象データセットのカテゴリ数を出力サイズとする出力層を対象モデルに追加し、この層のモデルパラメータをランダムに初期化します。ターゲット データセットでターゲット モデルをトレーニングする場合、出力レイヤーは最初からトレーニングされ、残りのレイヤーのパラメーターはソース モデルのパラメーターに基づいて微調整されます。
1.2 教師あり微調整の手順
具体的には、教師あり微調整には次の手順が含まれます。
事前トレーニング: まず、事前トレーニングに自己教師あり学習アルゴリズムまたは教師なし学習アルゴリズムを使用するなど、大規模なデータセットで深層学習モデルをトレーニングします。
微調整: 事前トレーニングされたモデルは、ターゲット タスクのトレーニング セットを使用して微調整されます。通常、モデルの最後の数層または一部の中間層など、事前トレーニングされたモデルの一部の層のみが微調整されます。微調整プロセスでは、バックプロパゲーション アルゴリズムを通じてモデルが最適化され、ターゲット タスクでのモデルのパフォーマンスが向上します。
評価: ターゲット タスクのテスト セットを使用して微調整されたモデルを評価し、ターゲット タスクに関するモデルのパフォーマンス指標を取得します。
1.3 教師あり微調整の特徴
教師あり微調整では、事前トレーニング済みモデルのパラメーターと構造を使用して、モデルを最初からトレーニングすることを回避できます。これにより、モデルのトレーニング プロセスが加速され、ターゲット タスクでのモデルのパフォーマンスが向上します。 。教師あり微調整は、コンピューター ビジョン、自然言語処理、その他の分野で広く使用されています。ただし、監視にはいくつかの欠点もあります。まず、対象タスクの微調整には大量のラベル付きデータが必要ですが、ラベル付きデータが不足すると、微調整モデルのパフォーマンスが低下する可能性があります。次に、事前トレーニング モデルのパラメーターと構造は微調整モデルのパフォーマンスに大きな影響を与えるため、適切な事前トレーニング モデルを選択することも重要です。
著者：Ting、人工知能 https://www.bilibili.com/read/cv25060283 出典：bilibili