LLM は、単一モデル内でさまざまな言語タスクを実行できる機能で有名になりましたが、アプリケーションで実行する必要があるのは 1 つのタスクのみである場合があります。この場合、事前トレーニングされたモデルを微調整して、関心のあるタスクのみのパフォーマンスを向上させることができます。たとえば、このタスクのサンプル データセットを要約に使用します。興味深いことに、比較的少ない例でも良好な結果が得られます。通常、モデルが事前トレーニング中に確認した数十億のテキストとは対照的に、良好なパフォーマンスを達成するには、わずか 500 ～ 1,000 個の例だけで十分です。
ただし、単一のタスクを微調整することには潜在的な欠点があります。このプロセスは、壊滅的な忘却として知られる現象を引き起こす可能性があります。完全な微調整プロセスによって元の LLM の重みが変更されるため、壊滅的な忘却が発生します。これにより、単一の微調整タスクでは優れたパフォーマンスが得られますが、他のタスクではパフォーマンスが低下する可能性があります。
たとえば、微調整により、レビューに対するセンチメント分析を実行し、高品質の完了結果を生成するモデルの能力が向上します。
ただし、モデルは他のタスクの実行方法を忘れてしまう可能性があります。
このモデルは、微調整する前に、文中の猫の名前がチャーリーである固有表現認識タスクを正しく識別する方法を知っていました。
しかし、微調整後、モデルはタスクを実行できなくなり、認識するはずだったエンティティを混乱させたり、新しいタスクに関連した動作を示したりしました。
それでは、致命的な忘れを避けるためにはどのような選択肢があるのでしょうか?
- まず、致命的な忘れが実際にユースケースに影響を与えるかどうかを判断することが重要です。微調整する単一タスクで信頼性の高いパフォーマンスのみが必要な場合は、モデルが他のタスクに一般化できないことはおそらく問題ではありません。
- モデルのマルチタスク汎化機能を維持することが本当に必要な場合は、複数のタスクを一度に微調整できます。マルチタスクを適切に微調整するには、複数のタスクにわたって 50 ～ 100,000 のサンプルが必要になる場合があるため、トレーニングにはより多くのデータと計算が必要になります。このオプションについては後ほど詳しく説明します。
- 2 番目のオプションであるパラメーター効率の良い微調整では、フルスケールの微調整の代わりに、パラメーター効率の良い微調整 (略して PEFT) が実行されます。PEFT は、元の LLM 重みを保存し、少数のタスク固有のアダプター レイヤーとパラメーターのみをトレーニングする一連の手法です。事前トレーニングされた重みのほとんどが変更されないため、PEFT は壊滅的な忘却に対してより優れた堅牢性を示します。PEFT はエキサイティングで活発な研究分野であり、これについては今週後半に紹介します。
それまでの間、次のビデオに進み、マルチタスクの微調整について詳しく見てみましょう。
参考
https://www.coursera.org/learn/generative-ai-with-llms/lecture/cTZRI/fine-tuning-on-a-single-task