NIPS2019《Red de atención cruzada para clasificación de pocas posibilidades》

Publicado en NIPS2019! ! !
Enlace del artículo: https://proceedings.neurips.cc/paper/2019/file/01894d6f048493d2cacde3c579c315a3-Paper.pdf
Enlace del código: https://github.com/blue-blue272/fewshot-CAN

1. motivo

Aunque prometedor, pocos han prestado suficiente atención a la reconocibilidad de las características extraídas. Por lo general, extraen características de clases de soporte y muestras de consultas sin etiquetar de forma independiente, por lo que las características no son lo suficientemente discriminativas. Por un lado, las imágenes de prueba en el conjunto de soporte/consulta son de clases invisibles, por lo que sus características difícilmente se pueden usar para los objetos de destino . Específicamente, para imágenes de prueba que contienen múltiples objetos, las características extraídas pueden centrarse en objetos en clases vistas con una gran cantidad de muestras etiquetadas en el conjunto de entrenamiento, mientras ignoran objetos en clases no vistas. Como se muestra en la Figura 1© y (d) arriba, dos imágenes de las cortinas de la clase de prueba, las características extraídas solo capturan información sobre objetos relacionados con la clase de entrenamiento, como personas o sillas en la Figura 1 (a) y (b). Por otro lado, el problema de los datos bajos hace que las características de cada clase de prueba no representen la verdadera distribución de clases porque se obtiene con muy pocas muestras de soporte de etiquetas . En resumen, la representación independiente de características puede fallar en la clasificación de muestras pequeñas.

2. Contribución

En este trabajo, se propone una nueva Red de Atención Cruzada (CAN) para mejorar la discriminabilidad de características para la clasificación de muestras pequeñas.
1) Primero, se introduce el Módulo de atención cruzada (CAM) para resolver el problema de las clases invisibles . La idea de la atención cruzada está inspirada en el comportamiento humano de aprendizaje de pocas oportunidades. Para identificar una muestra de una clase no descubierta, los humanos tienden a localizar primero las regiones más relevantes entre pares de muestras etiquetadas y no etiquetadas. De manera similar, dado un mapa de características de clase y un mapa de características de ejemplo de consulta, CAM genera un mapa de atención cruzada para cada característica para resaltar el objeto de destino. Para lograr este propósito, se emplean métodos de estimación de correlación y metafusión. Esto permite que el objeto objetivo en la muestra de prueba capte la atención y las características ponderadas por el mapa de atención cruzada son más discriminativas. Como se muestra en la Figura 1 (e), las características extraídas por CAM se pueden usar para ubicar aproximadamente el área de la pantalla del objeto objetivo.
2) En segundo lugar, presentamos un algoritmo de inferencia directa que utiliza todo el conjunto de consultas sin etiquetas para aliviar el problema de la escasez de datos . El algoritmo predice de forma iterativa etiquetas para muestras de consultas y selecciona muestras de consultas pseudoetiquetadas para ampliar el conjunto de soporte. Cuantas más muestras de apoyo haya para cada clase, más representativas serán las características de la clase resultante, aliviando así el problema de la escasez de datos.

3. Método

3.1 Definición del problema

La clasificación de pocas posibilidades suele incluir un conjunto de entrenamiento, un conjunto de soporte y un conjunto de consulta. El conjunto de entrenamiento contiene una gran cantidad de clases y muestras etiquetadas. El conjunto de soporte de algunas muestras etiquetadas y el conjunto de consulta de muestras sin etiquetar comparten el mismo espacio de etiquetas, y el espacio de etiquetas no está conectado al espacio de etiquetas del conjunto de entrenamiento. El propósito de la clasificación de pocas tomas es clasificar muestras de consultas sin etiquetar dado un conjunto de entrenamiento y un conjunto de soporte. Si el conjunto de soporte consta de clases C y muestras etiquetadas con K de cada clase, el problema objetivo de pocos disparos se denomina disparo K de vía C.
Según la experiencia existente, este artículo también utiliza el mecanismo de entrenamiento de episodios, que ha demostrado ser un método de aprendizaje eficaz de pocas muestras. Los episodios utilizados en el entrenamiento simulan los escenarios de las pruebas. Cada episodio se compone de $Clase\; C$ y todas las clases$K$ muestras etiquetadas como grupo de soporte$S=\left\{\right(x_a^{},y_a^{}\left){\}}_{un=1}^{{norte}_{}}\right({n.}_{}=C\times K)$ ,CCUna pequeña parte de las muestras restantes en la clase$C$$q=\left\{\right(x_b^{},y_b^{}){\}}_{segundo=1}^{{norte}_{}}$composición. Haremos $S^k$ se expresa como elkésimoUn subconjunto admitido de$k\; clases.$Cómo representar cada clase de soporte$S^k$ y consulta de muestra$X_b^{}$, y medir la similitud entre ellos es una cuestión clave en la clasificación de pocos disparos.

3.2 Módulo de Atención Cruzada

En este trabajo, obtenemos representaciones de características apropiadas para cada par de clases de soporte y muestras de consultas a través del aprendizaje métrico. Este artículo propone el Módulo de atención cruzada (CAM), que puede modelar la correlación semántica entre las características de clase y las características de consulta, atrayendo así la atención sobre el objeto objetivo y facilitando la coincidencia posterior.

El CAM se muestra en (a) arriba. Mapa de características de clase ${PAG}^k\in R^{c\times h\times w}$ se obtiene de la muestra de soporte$S^k(k\in \{1,2,\cdots ,C\left\}\right)$ , mientras consulta el mapa de características$q^b\in R^{c\times h\times w}$ es de la muestra de consulta$X_b^{}(segundo\in \{1,2,\cdots ,{norte}_{}\left\}\right)$ . dondecc$c$、$h$ ,$w$ son el número de canal, la altura y el ancho del mapa de características respectivamente. CAM es${PAG}^k\left(Q^b\right)$Generar mapa de atención cruzada$A^{pag}\left({un}^q\right)$, y luego use$A^{pag}\left({un}^q\right)$Pondere el mapa de características para lograr una representación de características más discriminativa${\overline{PAG}}_b^{}($