Astuce de construction d'échantillons de réglage fin de grand modèle

Interviewer : Comment le réglage fin des grands modèles organise-t-il les échantillons d'apprentissage ?

Vous : une question et une réponse pour la formation de grands modèles, une instruction et une sortie. Les questions et les instructions peuvent être utilisées comme entrée rapide et les réponses comme sortie. La partie du calcul de la perte doit bloquer le jeton du pad.

Interviewer : Comment organiser des échantillons de formation en plusieurs cycles de dialogue ?

Vous : En supposant que les multiples tours sont Q1A1/Q2A2/Q3A3, alors il peut être converti en trois échantillons d'entraînement de Q1—>A1, Q1A1Q2->A2, Q1A1Q2A2Q3->A3.

Intervieweur : Dans ce cas, une session devient trois éléments de données, et les éléments ci-dessus sont répétés dans l'ordre. Y aura-t-il des problèmes ?

Vous : la plupart des données sont des jetons de pad et l'efficacité d'utilisation des données d'entraînement est faible. De plus, il y aura un problème d'expansion répétée des données. L'expansion répétée des données d'entraînement est le nombre de sessions * le nombre moyen de tours, et il y a des parties répétées dans ce qui précède, et l'efficacité de l'entraînement sera également faible.

Interviewer : Vous avez également réalisé cela, y a-t-il un moyen de l'améliorer ?

Vous : Existe-t-il un moyen de créer une session en tant qu'échantillon d'entraînement à la fois ? (Réflexion)

Intervieweur : Rappel, limitez-vous à la série de modèles uniquement décodeurs, utilisez les fonctionnalités du modèle pour améliorer le formulaire d'organisation de l'échantillon.



Pour ce problème, réfléchissons aux caractéristiques du modèle de décodeur uniquement. Le premier point est que sa forme d'attention est occasionnelle. Une compréhension simple de occasionnel est un tableau triangulaire. Un seul jeton ne peut voir que les informations au-dessus de lui.

comme le montre l'image: