Préface à la partie 1
À l'ère de Bert, nous effectuons souvent un réglage fin du modèle de pré-formation (Fine-tuning) , c'est-à-dire, selon différentes tâches en aval, introduisons diverses pertes de tâches auxiliaires et données de domaine vertical, et les ajoutons au modèle de pré-formation pour rendre le modèle plus adapté aux tâches en aval Le chemin. Chaque tâche en aval stocke une copie de l'intégralité du modèle pré-entraîné, et l'inférence doit être effectuée dans des lots séparés.
Toutes les tâches de traitement du langage naturel peuvent-elles donc être converties en tâches de modèle de langage ? Autrement dit, toutes les tâches peuvent être modélisées de manière unifiée. La description de la tâche et l'entrée de la tâche sont considérées comme le contexte historique du modèle de langage, et la sortie est l'information future que le modèle de langage doit prédire.
Par conséquent, un nouveau paradigme de Prompt [1] a été proposé, sans besoin d'ajustement, permettant au modèle pré-formé de s'adapter directement aux tâches en aval. La méthode rapide dépend davantage de l'a priori, tandis que le réglage fin dépend davantage de l'a posteriori.
Réglage Part2P
Il existe deux versions de P-tuning mentionnées dans cet article.
Le réglage Prompt dans l'article GPT Understands, Too[2] est appelé P-tuning v1 dans le processus d'écriture de cet article , correspondant au code GitHub :
https://github.com/THUDM/P-tuning
P-Tuning v2[3] proposé dans l'article "P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks", code GitHub :
https://github.com/THUDM/P-tuning-v2
1accord de préfixe
Si vous analysez le P-tuning, vous devez mentionner la technologie de préfixe-tuning [4], par rapport au réglage fin, dans le processus d'ajustement du modèle