Notas del proceso de aprendizaje (1)

1. Aprendizaje personalizado por transferencia federativa

Personalización global del modelo:

Espacio de características: las características extraídas de la imagen o de la imagen misma, es decir, las características de píxeles de la imagen o las características de la imagen extraídas con una red profunda, como GoogleNet, extraídas en 1024 dimensiones; Espacio semántico: una descripción de muestra que es más propicio para la comprensión humana, como si hay agua,
si es negra, si es blanca o no;
etiquete el espacio: si es una cebra.

Espacio de características: el más intuitivo, puede ser a nivel de píxel o una combinación de múltiples píxeles, lo que favorece la expresión directa por parte de la computadora;
espacio semántico: es una abstracción adicional del espacio de características, que favorece la cognición humana. ;
espacio de etiquetas: el más abstracto, más cercano a la comprensión humana

1. Regularización:

MOON: tiene como objetivo reducir la distancia entre la representación Z aprendida por el modelo local y la representación Zglob aprendida por el modelo global, y aumentar la distancia entre la representación Z aprendida por el modelo local y la representación Zprev aprendida por el modelo local anterior.

2. Transferir el aprendizaje:

1. FedSteg + FedHealth: la capa convolucional y la capa de agrupación máxima están diseñadas para aprender las características generales de la imagen, por lo que los parámetros no se actualizan durante el proceso de capacitación. Sin embargo, las capas completamente conectadas se centran en aprender funciones específicas de tareas y usuarios, por lo que actualizamos este parámetro.

2. FedMD: cada parte entrena fk (modelo privado) para converger en el conjunto de datos públicos D0, y luego converge en su conjunto de datos privados Dk, primero entrena en el conjunto de datos públicos hasta la convergencia, y luego cada participante entrena en su propio pequeño privado Tren en el conjunto de datos hasta la convergencia.

3. Dos métodos de implementación del aprendizaje por transferencia:

- Ajuste de la red: cambie la última capa de conexión completa y luego ajuste todos los parámetros de la red para el entrenamiento de la red

- La capa anterior se considera un extractor de características, todas las capas se congelan y solo se entrena la última capa, rápidamente

4. El modelo utilizado durante el entrenamiento se puede seleccionar adecuadamente (se puede cambiar)

5. Transferir el aprendizaje bajo la adaptación del dominio.

Su objetivo es aprender un buen modelo de clasificación para datos de dominio de origen etiquetados y datos de dominio de destino no etiquetados, y resolver el problema de la transferencia de conocimiento entre dominios con diferentes distribuciones de datos.

-Adaptación del dominio adversario: las muestras reales y el ruido aleatorio en GAN corresponden al dominio fuente y al dominio objetivo en el aprendizaje por transferencia, mientras que el generador y el discriminador corresponden al extractor de características y varias funciones métricas de distribución en el aprendizaje por transferencia, respectivamente.

-Mecanismo de atención: la distribución de características está alineada y a las unidades que son beneficiosas para la finalización de la tarea se les pueden asignar más recursos, por el contrario, a las unidades que no son beneficiosas para la finalización de la tarea se les asignan menos recursos. Esta idea se aplica al campo de la imagen. clasificación El propósito del mecanismo de atención Asigne pesos más grandes a las características de la imagen que son útiles para la clasificación, mientras reduce los pesos de las características de la imagen restantes.

6. Clasificación del aprendizaje por transferencia basada en anotaciones: aprendizaje por transferencia por derivación , aprendizaje por transferencia por transducción , aprendizaje por transferencia no supervisado

① Aprendizaje por transferencia de derivación: cuando la tarea de origen no es igual a la tarea de destino , el aprendizaje de transferencia de derivación utiliza el conocimiento en el dominio de origen y la tarea de origen para mejorar u optimizar el efecto de aprendizaje de la función de predicción de destino en el dominio de destino.

②Aprendizaje por transferencia transductivo: cuando la tarea fuente = tarea objetivo y el dominio fuente no es igual al dominio objetivo , el aprendizaje por transferencia transductivo utiliza el conocimiento en el dominio fuente y la tarea fuente para mejorar u optimizar el efecto de aprendizaje de la función de predicción objetivo en el dominio objetivo.

-Los espacios de características del dominio de origen y el dominio de destino son diferentes, y el dominio correspondiente se adapta a la adaptación del dominio.

-El espacio de características es el mismo, pero la probabilidad de borde es diferente, correspondiente al cambio de covariable.

③Aprendizaje por transferencia  no supervisado Cuando la tarea fuente = tarea objetivo y el espacio de etiquetas ys e yt no son observables , el aprendizaje por transferencia no supervisado utiliza el conocimiento en el dominio fuente y la tarea fuente para mejorar u optimizar el efecto de aprendizaje de la función de predicción objetivo en el dominio objetivo.

La alineación de características es un paso clave en el aprendizaje por transferencia, cuyo objetivo es hacer que las representaciones de características del dominio de origen y el dominio de destino sean más consistentes en el espacio de características compartido, facilitando así la transferencia del conocimiento aprendido en el dominio de origen al dominio de destino. La alineación de características se puede lograr de varias maneras:

1. Métodos de adaptación al dominio : los métodos de adaptación al dominio son una técnica de alineación de características común. Ajusta los datos del dominio de destino para que su distribución de características sea más cercana a la del dominio de origen. Esto se puede lograr mediante el entrenamiento de adaptación del dominio en el dominio objetivo, como en el aprendizaje profundo, utilizando entrenamiento adversario o clasificadores de dominio para lograr la alineación de características.

2. Métodos de coincidencia de distribución : los métodos de coincidencia de distribución tienen como objetivo hacer coincidir las distribuciones de características de los datos del dominio de origen y de destino encontrando la mejor asignación entre ellos. Esto se puede lograr minimizando la diferencia entre los dominios de origen y de destino, por ejemplo, utilizando la discrepancia media máxima (MMD) o métodos de coincidencia del kernel.

3. Ajuste de peso adaptativo : en el aprendizaje por transferencia, el ajuste de peso adaptativo es un método eficaz de alineación de funciones. Logra la alineación de características mediante la introducción de pesos dinámicos entre las muestras de dominio de origen y de destino, ajustando sus contribuciones. Esto se puede lograr mediante métodos de aprendizaje adaptativo, como el aprendizaje por transferencia de pesos adaptativos.

4. Modelo avanzado de alineación de características : algunos trabajos de investigación han propuesto modelos avanzados de alineación de características, como Joint Feature Alignment o Deep Alignment Network. Estos modelos intentan alinear características en múltiples niveles para una mejor transferencia.

Cómo utilizar algoritmos de optimización como el descenso de gradiente para maximizar MMD

1. Defina el modelo: defina una red neuronal u otro modelo de aprendizaje automático que asigne las características de entrada X_s y X_t a un espacio de características compartido.

2. Proceso de optimización: maximice MMD mediante algoritmos de optimización como el descenso de gradiente. El objetivo de la optimización es maximizar la función de pérdida de MMD para que las características de los dominios de origen y de destino en el espacio de características sean más consistentes.

Durante el proceso de entrenamiento, se calcula el gradiente de la función de pérdida de MMD y luego los parámetros del modelo se actualizan de acuerdo con la dirección del gradiente, de modo que la función de pérdida de MMD aumenta gradualmente. Específicamente, puede utilizar el descenso de gradiente estocástico (SGD) u otros algoritmos de optimización, como Adam, RMSProp, etc., para actualizar los parámetros del modelo.

1. Entrenar junto con la tarea objetivo: la alineación de características es a menudo parte del aprendizaje por transferencia y, por lo general, queremos entrenar la alineación de características junto con la tarea objetivo. Por lo tanto, en aplicaciones prácticas, MMD se puede agregar como un término de regularización a la función de pérdida de la tarea objetivo para optimizar simultáneamente la alineación de características y la tarea objetivo.

Cabe señalar que la alineación de características es un medio técnico en el aprendizaje por transferencia y el objetivo final es mejorar el desempeño de la tarea objetivo. Por lo tanto, en aplicaciones prácticas, además de la alineación de funciones, es necesario combinar otros métodos y tecnologías de aprendizaje por transferencia para optimizar aún más el modelo y mejorar el rendimiento.

 

Referencias:

1. Transferir aprendizaje 1. Uso básico_Transferir proceso de aprendizaje_Iniciar blogs blog-blog CSDN

Implementado con un poco de experimentación.

2. Aprendizaje por transferencia federada_blog-CSDN de Wu Tianxu