Cuatro principales tareas posteriores del BERT
1. Tarea de clasificación de pares de oraciones
MNLI: una tarea de clasificación a gran escala con el objetivo de predecir si la segunda oración contiene, contradice o es neutral en relación con la primera oración.
QQP: una tarea de clasificación binaria que predice si Quora es equivalente en dos preguntas semánticas.
STS-B: Punto de referencia de similitud de texto semántico, una colección de pares de oraciones extraídas de titulares de noticias u otras fuentes. Luego se marca con una puntuación, lo que indica cuán similares son semánticamente las dos oraciones.
MRPC: extraiga automáticamente composiciones de pares de oraciones de fuentes de noticias en línea, con anotaciones humanas para indicar si las oraciones en un par de oraciones son semánticamente equivalentes.
SWAG: el conjunto de datos de contexto generado adversariamente contiene 113k ejemplos completos de pares de oraciones para evaluar un razonamiento sólido de sentido común. Dada una oración, la tarea es elegir la continuación más plausible entre cuatro opciones. Entre ellos, cuando se ajusta el conjunto de datos SWAG, los datos de entrenamiento se construyen en serie de acuerdo con cada secuencia de entrada que contiene una oración dada y posibles palabras de continuación.
2. Tarea de clasificación de oraciones individuales
SST-2: Stanford Sentiment Treebank es una tarea de clasificación binaria de una sola oración que consta de oraciones extraídas de reseñas de películas y anotaciones humanas con sus sentimientos.
CoLA: El Corpus de aceptabilidad lingüística también es una tarea de clasificación binaria de una sola oración con el objetivo de predecir si una oración en inglés es lingüísticamente "aceptable".
3. Tarea de respuesta a preguntas
SQuAD: El conjunto de datos de preguntas y respuestas de Stanford es una colección de 100 000 pares de preguntas y respuestas. Dada una pregunta y un pasaje en Wikipedia que contiene la respuesta, la tarea es predecir el rango de texto de respuesta (inicio, final) en el pasaje.
Todos los métodos de ajuste fino de BERT agregan una capa de clasificación simple al modelo preentrenado y ajustan conjuntamente todos los parámetros en las tareas posteriores. Sin embargo, no todas las tareas se pueden representar fácilmente mediante la arquitectura BERT, lo que requiere la adición de arquitecturas modelo específicas de tareas.
4. Tarea de reconocimiento de entidad nombrada
La tarea de etiquetado de una sola oración también se denomina tarea de reconocimiento de entidad nombrada, o NER para abreviar.Los conjuntos de datos NER comunes incluyen CoNLL-2003, etc. Esta tarea se refiere a identificar entidades con significados específicos en el texto, incluyendo principalmente nombres de personas, lugares, instituciones, nombres propios, etc., así como textos como tiempo, cantidad, moneda y valores proporcionales.
De manera similar, Bert no se puede ajustar agregando una capa de clasificación simple en la tarea NER, por lo que debemos agregar una arquitectura específica para completar la tarea NER.