1 Por qué el aprendizaje autodirigido aprendizaje autodidacta
El aprendizaje autónomo es una forma especial de aprendizaje no supervisado. Como dijimos en el aprendizaje no supervisado, el etiquetado es muy valioso, generalmente requiere un marcado manual, y el tiempo y los costos de mano de obra son muy altos. Pero en realidad, es relativamente fácil obtener datos sin etiquetar. Podemos rastrear muchos, muchos textos, imágenes, voces, información de productos, etc. en Internet. Cómo utilizar estos datos sin etiquetar siempre ha sido una dirección importante del aprendizaje no supervisado. El aprendizaje autónomo proporciona una solución.
El aprendizaje auto-supervisado utiliza parte de los datos para predecir otras partes y proporciona señales de supervisión por sí mismo, realizando así el aprendizaje auto-supervisado. Con el aprendizaje autodirigido, puede aprender una determinada representación de texto o imagen, lo que es beneficioso para el desarrollo de tareas posteriores. Esto es un ajuste fino previo al entrenamiento
2 Plan de implementación del aprendizaje autodirigido
Los esquemas de implementación del aprendizaje auto supervisado incluyen principalmente
- Utilice parte de los datos para reconstruir todos los datos. Esto es en realidad una especie de codificador automático de reducción de ruido. En términos de PNL, el modelo de lenguaje de máscara de la serie BERT y la restauración de imagen In-painting del campo CV utilizan este esquema.
- Algunas tareas en el campo CV. Por ejemplo, divida la imagen en 9 piezas y, después de revolver, haga un rompecabezas. Gire la imagen en un ángulo determinado y luego prediga el ángulo de rotación.
- Aprendizaje de contraste. Como word2vec, codificación predictiva contrastiva, SimCLR
3 Aprendizaje autodirigido en el campo de la PNL
Se implementan varios modelos de preentrenamiento de PNL mediante el aprendizaje auto-supervisado. Como Elmo, GPT, BERT, XLNet, Electra, T5, etc. Pueden considerarse como un codificador automático que elimina el ruido.
3.1 Codificador automático 和 LM autorregresivo
Se dividen en dos tipos
- Codificador automático. Por ejemplo, el modelo de lenguaje Mask utilizado por BERT. Enmascara parte de los tokens en la secuencia y luego permite que el modelo prediga la posición de la máscara. Su ventaja es que puede hacer un uso completo de la información de las oraciones en ambas direcciones y se desempeña bien en tareas como clasificación, control de calidad y NER. La desventaja es que solo la posición de la máscara en la secuencia participa en la predicción y la eficiencia del entrenamiento es baja. Además, hay una máscara durante el entrenamiento, pero no hay máscara durante el ajuste fino de la tarea posterior, lo que da como resultado una inconsistencia en las dos etapas.
- Modelo de lenguaje autorregresivo LM autoregresivo. Estrictamente hablando, el modelo de lenguaje de máscara MLM no puede considerarse como un modelo de lenguaje. Los modelos autorregresivos como GPT son los modelos de lenguaje reales. Utiliza lo anterior para predecir el token a continuación. Se desempeña mejor en tareas de generación. La ventaja es que las dos etapas de preentrenamiento y ajuste fino son las mismas, y cada posición en la secuencia participa en la predicción, y la eficiencia del entrenamiento es muy alta. La desventaja es que solo puede ver lo anterior pero no lo siguiente, es decir, una dirección, lo que afecta en gran medida la comprensión semántica de la oración.
Un ejemplo de Auto-Encoder es el siguiente, puede obtener contexto en dos direcciones, lo que es útil para la comprensión semántica.
Un ejemplo de LM autorregresivo es el siguiente, ya sea de adelante hacia atrás o de atrás hacia adelante, solo puede ser unidireccional
3.2 XLNet y PLM
XLNet combina las ventajas de los dos, propone el modelo de lenguaje de clasificación PLM (Permutation LM). Se divide en dos pasos
- Ordenar, codificar la posición de la ficha en la secuencia. En la práctica, la ficha no se codifica directamente, pero se utiliza la máscara de atención.
- El modelo de lenguaje autorregresivo predice. Debido a que la posición del token se interrumpe, se puede obtener la siguiente información al entrenar el modelo de lenguaje, lo que ayuda a comprender la secuencia completa.
4 Aprendizaje autodirigido en el ámbito del CV
En las tareas de CV, el aprendizaje autónomo también es fácil de implementar
4.1 predecir piezas faltantes
Recorte algunas áreas de la imagen y luego deje que el modelo haga predicciones para que la salida pueda restaurar la imagen de entrada tanto como sea posible.
4.2 Rompecabezas
Divida la imagen en varias regiones y revuélvala, y luego deje que el modelo la restaure a la imagen original. Es muy similar a un rompecabezas.
4.3 Rotación
Gire la imagen en un cierto ángulo y deje que el modelo prediga cuántos grados ha girado. O rote la imagen en cuatro categorías de 0, 90, 180 y 270 grados y deje que el modelo prediga la categoría rotada.
