Este artículo también es un artículo de la serie LLM, cuyo objetivo es la traducción de "Enseñar a los LLM a personalizar: un enfoque inspirado en la educación en escritura".
Enseñanza de personalización de LLM: un enfoque inspirado en la educación en escritura
Resumen
La generación de texto personalizado es un campo de investigación emergente que ha atraído mucha atención en los últimos años. La mayor parte de la investigación en esta dirección se centra en dominios específicos mediante el diseño de funciones o modelos personalizados. En este trabajo, proponemos un método general para generar texto personalizado utilizando modelos de lenguaje a gran escala (LLM). Inspirándonos en la práctica de la educación en escritura, desarrollamos un marco de múltiples etapas y tareas para enseñar LLM para una generación personalizada. En la enseñanza de la escritura, la tarea de escribir a partir de la fuente a menudo se divide en pasos que incluyen descubrir, evaluar, resumir, sintetizar e integrar información. De manera similar, nuestro enfoque para la generación de texto personalizado consta de múltiples etapas: recuperación, clasificación, resumen, síntesis y generación. Además, introducimos una configuración de tareas múltiples que ayuda al modelo a mejorar aún más su capacidad generativa, inspirada por la observación en educación de que las habilidades de lectura y escritura de los estudiantes a menudo están correlacionadas. Evaluamos nuestro método en tres conjuntos de datos públicos, cada uno de los cuales cubre diferentes dominios representativos. Nuestros resultados muestran mejoras significativas con respecto a varias líneas de base.
1. Introducción
2. Trabajo relacionado
3 Formalización del problema
4 Descripción general del método
5 Generación de texto personalizado
5.1 Búsqueda
5.2 Clasificación
5.3 Resumen
5.4 Síntesis
5.5 Generación personalizada
5.6 Aprendizaje multitarea
6 Configuración experimental
7 resultados experimentales
8 Conclusión
Proponemos un enfoque general para la enseñanza de modelos de lenguaje grandes para la generación de texto personalizado. De manera similar a cómo se guía a los estudiantes para que escriban a partir de fuentes en una serie de pasos, el método propuesto consta de múltiples etapas: recuperación, clasificación, resumen, síntesis y generación. Además, inspirados por la observación de que las habilidades de lectura y escritura están interrelacionadas, creamos una configuración de tareas múltiples que mejora la capacidad de lectura del modelo al diferenciar el autor de un par de documentos determinado. Esta configuración multitarea mejora aún más la capacidad del modelo para generar texto personalizado según la experiencia. Evaluamos nuestro modelo en tres conjuntos de datos publicados públicamente de dominios representativos. Nuestros resultados demuestran la eficacia del marco multitarea multinivel. Investigar combinaciones de conocimientos mundiales, como la información de productos, es una dirección prometedora para el trabajo futuro.