Tabla de contenido
1. Ajuste fino和Pre-entrenamiento
2. Transferencia de aprendizaje
1. Ajuste fino和Pre-entrenamiento
en conclusión,
- Preentrenamiento: hay una tarea 1 , use un gran conjunto de datos A para entrenar el modelo y guarde el peso entrenado W
- Ajuste fino: la tarea 2 es similar a la tarea 1 , use W como inicialización o extractor de características de la tarea 2 y entrene un nuevo conjunto de datos B
Enlace de referencia: https://www.jianshu.com/p/330ee6e7ceda
2. Transferencia de aprendizaje
"De hecho, el aprendizaje por transferencia equivale a una formación previa + una puesta a punto"
Esta parte del contenido se refiere principalmente a https://blog.csdn.net/weixin_43283397/article/details/104682811 Ahora, resumiré los puntos de conocimiento que creo que son más importantes según el enlace de referencia, de la siguiente manera:
定义：Habilidad de un sistema para reconocer y aplicar conocimientos y habilidades aprendidas en dominios/tareas anteriores a nuevos dominios/tareas
Conceptos importantes:
- dominio: un dominio específico en un momento determinado, como el análisis de imágenes de ultrasonido de tiroides y el análisis de imágenes de ultrasonido cardíaco
- tarea: tarea real, tarea de reconocimiento y tarea de segmentación
Tres W, qué, cómo, cuándo:
- ¿Qué migrar?
- ¿Cómo migrar?
-Basado en ejemplos
- Basado en características
-Basado en parámetros compartidos
- ¿Cuándo migrar?
Dos factores clave afectan el aprendizaje por transferencia:
- Dificultades de optimización causadas por la desconexión de la red
- La pérdida de rendimiento causada por el proceso de transferencia de características específicas representadas en la red de alto nivel
Cuál de los dos factores tiene el mayor impacto depende de la posición de la función de transferencia, ya sea en la parte inferior, media o superior de la red.
¡Continuaré grabando y compartiendo los buenos materiales de aprendizaje que veo más adelante!