Notas en papel de destilación de conocimientos adversarios en línea a nivel de mapa de características

Notas en papel de destilación de conocimientos adversarios en línea a nivel de mapa de características

Dirección en papel: https://arxiv.org/abs/2002.01775v1
Dirección de github: Inédito

Motivación

Los mapas de características contienen una gran cantidad de información de imágenes, como la correlación espacial. Sin embargo, en la tarea de clasificación, la destilación de conocimiento en línea anterior solo usaba probabilidad de categoría para el aprendizaje. Por lo tanto, este artículo propone usar el método de entrenamiento de confrontación para aprender la distribución de características. mapas en línea. , y combinado con el aprendizaje de probabilidad de categoría original para mejorar aún más la precisión de la clasificación.

Método

El autor propone un diagrama de marco como se muestra en la figura anterior, que se llama AFD ( Online Adversarial Feature map Distillation ). En la figura para entrenar dos redes ${el}_{},{el}_{}$Por ejemplo, agregue un juicio basado en un mapa de características a la predicción original basada en logit. donde basado en $logit$的$loss$ consta de dos partes, una parte es la entropía cruzada tradicional y la otra parte es la$loss$ (pérdida de destilación mutua), basada en la pérdida del mapa de características, aprende a destilar el mapa de características indirectamente a través del discriminador discriminador. En este marco, la formación$Las\; redes\; K$ requieren$K$ determinantes, cada uno de los cuales corresponde a una red, la salida del mapa de características de la red es juzgada como falsa por el juez correspondiente, y la salida del mapa de características de otra red es juzgada como real, para que la red pueda aprender de otra red. distribución de características del mapa de características.

• Pérdida de conocimiento mutuo basada en logit
  $$\begin{gathered} L_{iniciarsesión\_\_\_}^{}=L_c\left(y,pag\left(z_{}\right)\right)+T^2\times L_{kl}\left(pag\left(z_{}/T\right),pag\left(z_{}/T\right)\right) \\ {L}_{iniciarsesión\_\_\_}^{}=L_c\left(y,pag\left(z_{}\right)\right)+T^2\times L_{kl}\left(pag\left(z_{}/T\right),pag\left(z_{}/T\right)\right) \end{gathered}$$
• Entrenamiento adversario para KD basado en mapas de características
  $$\begin{gathered} L_{D_{}}={\left[1-D_{}\left(T_{}\left(G_{}\left(x\right)\right)\right)\right]}^2+{\left[D_{}\left(T_{}\left(G_{}\left(x\right)\right)\right)\right]}^2 \\ {L}_{{GRAMO}_{}}={\left[1-D_{}\left(T_{}\left(G_{}\left(x\right)\right)\right)\right]}^2 \end{gathered}$$

Al mismo tiempo, se propone un método de aprendizaje cíclico para el modo de entrenamiento simultáneo de múltiples redes. Este método es un entrenamiento de ciclo único, transfiriendo el conocimiento de cada red a la siguiente red y transfiriendo el conocimiento de la última red a la primera red. La función principal de este método es reducir el número de dispositivos de decisión.

Experimento

Los resultados de la ejecución de métodos existentes: estudio basado en la distancia y ablación (estudio de ablación): estudie el rendimiento de la red eliminando parte de la red. Comprenda el rendimiento de la red a través de diferentes configuraciones para comparar el rendimiento de diferentes métodos: incluidas aplicaciones


para la misma red y diferentes redes Estructura y entrenamiento de múltiples
conjuntos de datos de red: CIFAR-100
Número de repeticiones del experimento: $5$
Tamaño de lote: $128$
época: $LR\; para\; 300$
clasificación:SGD$0\_1$ ,$0\_01@150$ ,$0\_001@225$
impulso： $0\_9$ , disminución del peso:$10^{-4}$
mapa de características的lr：ADAM$2\times 10^{-4}paraD$yy$\_$$and$ G，$2\times 10^{-6}@75$,$2\times 10^{-7}@150$época
Decaimiento de peso： $0\_1$

Análisis

Los autores usan $L1/L2$ similitud de distancia y$Los\; dos\; métodosde\; similitudcosenodetectan$ la similitud de los mapas de características generados al entrenar diferentes redes de tres maneras y analizan las razones cualitativa y$cuantitativamente$$.$