LLMs スケーリング命令モデル スケーリング命令モデル FLAN (Fine-tuned LANguage Net、微調整言語ネットワーク)

この文書では、ガイド付き微調整手法である FLAN (Fine-tuned LANguage Net) を紹介し、その適用結果を示します。この研究は、思考連鎖推論データを統合しながら 1836 のタスクで 540B PaLM モデルを微調整することにより、FLAN が一般化、人間の使いやすさ、ゼロショット推論の点で基本モデルよりも改善を達成したことを示しています。この論文では、これらの側面を評価する方法についても詳しく説明します。

以下は、FLAN のトレーニング時に使用される微調整タスクとデータセットを示す講義スライドの画像です。タスクの選択は、Muffin の対話タスクと手続き型合成タスクを組み込み、それらを新しい思考連鎖推論タスクと統合することで、以前の作業を拡張します。これには、T0 や Natural 命令 v2 などの他のタスク コレクションのサブセットも含まれています。一部のタスクはトレーニング中に保持され、後で目に見えないタスクでのモデルのパフォーマンスを評価するために使用されます。

参考

https://www.coursera.org/learn/generative-ai-with-llms/supplement/aDQwy/scaling-instruct-models