Prefacio a la Parte 1
En la era de Bert, a menudo hacemos un ajuste fino del modelo de preentrenamiento (ajuste fino) , es decir, de acuerdo con diferentes tareas posteriores, introducimos varias pérdidas de tareas auxiliares y datos de dominio vertical, y los agregamos al modelo de preentrenamiento. para que el modelo sea más adecuado para las tareas posteriores El camino. Cada tarea posterior almacena una copia de todo el modelo previamente entrenado y la inferencia se debe realizar en lotes separados.
Entonces, ¿pueden todas las tareas de procesamiento de lenguaje natural convertirse en tareas de modelo de lenguaje ? Es decir, todas las tareas se pueden modelar de manera unificada. La descripción de la tarea y la entrada de la tarea se consideran el contexto histórico del modelo de lenguaje, y la salida es la información futura que el modelo de lenguaje necesita predecir.
Por lo tanto, se propuso un nuevo paradigma de Prompt [1], sin necesidad de ajustes, que permitiera que el modelo preentrenado se adaptara directamente a las tareas posteriores. El método rápido depende más del anterior, mientras que el ajuste fino depende más del posterior.
Ajuste Part2P
Hay dos versiones de P-tuning mencionadas en este artículo.
El ajuste de Prompt en el documento GPT Understands, Too[2] se llama P-tuning v1 en el proceso de escritura de este artículo , correspondiente al código de GitHub:
https://github.com/THUDM/P-tuning
P-Tuning v2[3] propuesto en el artículo "P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks", código de GitHub:
https://github.com/THUDM/P-tuning-v2
1 ajuste de prefijo
Si analiza el ajuste P, debe mencionar la tecnología de ajuste de prefijo [4], en comparación con el ajuste fino, en el proceso de ajuste del modelo.