Lea las notas de papel (treinta) [CVPR2020]: Información de alto orden es importante: Relación de aprendizaje y Topología de Ocluido persona Re-La identificación

La referencia aquí a empujar vista Kuang Institute [ Portal ]

Introducción

(1) motivación:

Re-oclusión de identificación de peatón (Ocluido persona Reid) más desafiante:

① afectados bloqueado, la información de discriminación de la imagen es más pequeño y más fácil para que coincida con los peatones equivocadas;

② Mientras eficaz de hacerlo en base a la coincidencia de información de la característica entre la parte del cuerpo, es difícil a la parte estrictamente alineados de la caja está bloqueada.

Actualmente propuesto para la oclusión o Reid DETALLADA sitio, pero teniendo en cuenta las características básicas y una región de información de paso de aprendizaje alineados tal gesto predefinido, peatones resolución.

(2) Contribución:

La figura 1 (b) de vainilla Método: extracción de región de tecla de función local, y asume que todos los puntos de característica clave alineados con precisión y parcialmente bueno. Aquí, las tres etapas (extracción, alineados, coincidente) dependen de un punto crítico de la información del pedido, no es fuerte robustez.

La figura 1 (c) del método de: en la que la fase de aprendizaje, por un conjunto de características locales de una imagen considerada como nodos en el gráfico (Graph) un (nodo) para aprender la información de relación. Se puede mejorar su característica significativa vecino por la característica de transmisión de información sin sentido problemas en las figuras, debido a los puntos críticos causó ocluido. En la fase de alineación, con el gráfico de búsqueda de algoritmos (que coinciden gráfico) para aprender las capacidades de alineación robustos. Este método puede ser utilizado además del punto de relación de correspondencia de la alineación, la relación de correspondencia se puede modelar de lado a lado

Los autores sugieren un nuevo marco para un alto orden conjunta modelado de las relaciones humanas y la información de topología, como se muestra a continuación:

módulo semántico ① primer orden (S): En primer lugar, utilizando la figura CNN función de aprendizaje columna vertebral, un modelo de estimación cuerpo para aprender Key llave, y después se extrajo la información semántica correspondiente a la clave;

Relación ② entre el módulo de orden superior (R): Se aprendió características de la imagen semántica considerados como nodos de la gráfica, a continuación, una convolución de adaptación de una capa de patrón (ADGC / adaptativa-Dirección Graph convolucional) y la capa de transferencia de aprender el borde información de la característica. capa ADGC puede determinar automáticamente la dirección y grado de cada lado. promoviendo así la transferencia de información característica semántica, y las características de supresión de ruido de la transmisión sin sentido. Por último, el nodo aprendido contiene información semántica y la relación.

③ módulo superior topología de orden humano (T): una alineación incrustado propuesto figura cruz (/ cross-gráfico incrustado-alineación CGEA) capa. Se Figs dos (Graph) como una entrada, la calibración estrategia utilizando relación de correspondencia mapa de correspondencia entre los nodos y, a continuación, para aprender relación de correspondencia como una matriz de adyacencia a la información de transmisión. Por esta razón, con el fin de estar asociado con una característica mejorada de la información, la alineación puede ser embebido a las características. Por último, a fin de evitar una alineación forzada, dos investigadores voluntad por la asignación a un modelo logit a la figura supervisión y verificación con una pérdida prevista de su similitud.

El método propuesto

(1) la extracción de características semánticas:

imagen de peatones se asume como x, para obtener un mapa característico , al mapa los puntos clave , tanto a través del cálculo producto externo, y media global agruparon para obtener rasgo semántico características locales y globales:

El entrenamiento de cálculo de la pérdida:

K representa la confianza de los puntos clave, y . Con representación pertenece a la probabilidad Identificación correcta indica la distancia entre los pares de muestras positivas, la pérdida de función es:

(2) de orden superior aprendizaje relacional:

Convolución utilizando un mapa (red de convolución gráfica, GCN) [ portal ] para modelo de información de relación de orden superior. En GCN, puntos de característica semántica en diferentes áreas se considera nodos críticos. Mediante la transferencia de información entre los nodos, una información de primer orden semántica (características del nodo) y las características de alto orden (características de borde) pueden ser atendidos. Sin embargo, todavía hay oscurecida Reid un problema, es decir, la región de oclusión a menudo se caracteriza por incluso el ruido de sentido. Cuando se pasa de nuevo en estas cifras incluyen, aunque potencialmente más ruido, efectos secundarios de Reid ocluido. Por lo tanto, los investigadores propusieron nuevo convolución de adaptación de una capa de patrón (Capa de adaptación Directed Graph convolucional, ADGC ), con el que aprender dinámicamente la dirección y el grado de transferencia de información. Es decir, un investigador puede automáticamente información de la característica sin sentido reprimir, promover la transmisión de información de la característica semántica eficaz.

① Adgrc:

Diferencias grado de características locales y características globales para evaluar el peso, la característica de pequeñas diferencias más locales en sentido (que está desplazado de los puntos de características globales conjuntos pueden ser ocluidos o ruido), para obtener de ese modo un lado de la matriz de pesos , para controlar la transferencia de información, el cálculo de la convolución figura es:

Finalmente en cascada en una mayor relación de orden con más módulos ADGC , a saber:

② función de pérdida:

pérdida categóricos y la pérdida de tripletes, similar a la anterior:

③ métrica de similitud:

Peatones dadas dos imágenes (X _1. , X ₂ ), en el que la información de la relación son: ,, similitud:

(3) de orden superior aprendizaje humano topología:

Una estrategia simple está directamente alineado para que coincida con las características entre la misma clave. Sin embargo, una orden de este tipo de estrategia y alineación no puede hacer frente a los valores atípicos, sobre todo cuando hay grandes personajes de la pantalla situación protegidos. En contraste, la estrategia de juego Figura (gráfico de juego) puede ser, naturalmente, la información de orden superior en la topología de cuerpo también se tiene en cuenta. Pero sólo puede aprender correspondencia uno a uno, lo que resulta en una estrategia de alineación tan dura sigue siendo muy sensible a los valores atípicos, el rendimiento susceptibles a las interferencias. Con este fin, los investigadores propusieron capa de alineación embebida en una figura cruz, que no sólo puede aprovechar al máximo el cuerpo humano por la adquisición información de topología algoritmo gráfico a juego, sino también de una alineación a la interferencia evitar.

① gráfico correspondiente [18 años de profundo aprendizaje del mapa de papel que coincida: Portal ] ( no llegar a la parte inferior, a ser el aprendizaje ):

Supongamos que dos imágenes , correspondientes a los dos gráfico obtenido , el objetivo es el mapa de aprendizaje de una matriz a Juego elemento representa dos gráfico nodo correspondiente y el grado de coincidencia también tiene en cuenta el grado de similitud de la segunda cara elemento representa dos el correspondiente mapa de borde y el objetivo de optimización final fue:

② capa de alineación incrustado de la figura cruz (CGEA):

característica figura dos nodos de la siguiente manera: y , por capa y conexión de capa total de relu, dos capas ocultas obtenerse características y , matriz de incidencia obtenida por el módulo de emparejamiento de mapas . Capa del mismo, calculado como sigue: