compañero de aprendizaje = aprender a aprender
Como se muestra en la figura a continuación, el aprendizaje mate es ingresar datos de entrenamiento a F, y la salida es una f * que se puede usar para identificar la imagen.
F (datos de entrenamiento) = f (una red neuronal)
A diferencia de otros modelos de aprendizaje automático, el aprendizaje automático consiste en entrenar un modelo F y usar F para identificar imágenes.
f (foto gato) = "gato"
Como se muestra en la figura a continuación, el proceso de aprendizaje automático es así: las partes marcadas en rojo se configuran manualmente. Para diferentes inicializaciones de theta, obtendrá diferentes modelos de entrenamiento.
Pensando, ¿cómo dejar que los parámetros de inicialización aprendan por sí mismos sin un ajuste artificial?
Cómo evaluar la calidad de F, cada vez que se selecciona una parte de los datos del conjunto de entrenamiento para entrenamiento y se prueba el f1 aprendido. El resultado de la prueba es l1 Esta es una tarea, y luego hay muchas de esas tareas
La suma de todos los li es el resultado de la evaluación de F. Si el resultado de L (F) = Σ (l) es pequeño, el efecto de F es bueno, y viceversa.
La siguiente figura es la división de los datos de entrenamiento: el conjunto de datos general se denomina conjunto de entrenamiento y el conjunto de datos en cada tarea se denomina conjunto de soporte y conjunto de consulta
Función de pérdida
Dos formas de lograr el aprendizaje del compañero
Proceso MAML
¿Cómo encuentra Φ utilizando el descenso de gradiente? Al comparar la diferencia entre pre-entrenamiento y maml, podemos ver que maml es la suma de θ (coincidencia verde) en el modelo entrenado en cada tarea y luego encontrar el Φ del modelo F ( Azul)
Y pre_training es el Φ del modelo actual en el conjunto de prueba actual.
Para ilustrar la diferencia entre los dos, no nos importa si Φ se desempeña bien en la tarea, nos importa si Φ puede entrenar a un buen θ, como se muestra en la siguiente figura.
Para el pre-entrenamiento, Φ puede funcionar bien en l2, pero en l1, puede caer en óptimo local.
Entonces el resumen es:
maml ——> Φ es el mejor potencial después del entrenamiento
pre_train ——> Φ Sígalo para obtener el mejor rendimiento en el modelo actual
Maml solo necesita actualizarse una vez durante el entrenamiento
Comparación previa al entrenamiento y maml
Fórmula de derivación matemática
Compara visualmente los dos
comparación de reptiles maml pre-entrenamiento
problema con maml
Inicialmente aún es necesario inicializar los parámetros de los parámetros de inicialización
Terminado!