DAB-DETR

DAB-DETR（2022ICLR）

DAB: Cajas de anclaje dinámicas

contribuir:

1. Se aclaró que la convergencia lenta no es causada por consultas que se pueden aprender.

2. ancla 4D

3. Actualización de anclaje

4. Ancho y altura modulados

5. Ajuste de temperatura

Primera parte: ¿Por qué un previo posicional podría acelerar el entrenamiento?

¿Por qué la posición previa puede acelerar el entrenamiento DETR?

(a) Característica de imagen + incrustación de posición

(b) Salida inicial/decodificador + consulta de objeto

Dos posibles razones para la lenta convergencia:

1. Desafío de optimización, la consulta de objetos es difícil de aprender
2. La información de posición en las consultas de objetos aprendidos se codifica de manera diferente a la codificación de posición sinusoidal utilizada para las características de la imagen (la detr original está incrustada y la incrustación de posición es diferente)

Experimento 1: entregue la consulta del objeto aprendido al DETR no capacitado. Es solo un poco más alto en la primera mitad de la época, por lo que no es que la consulta sea difícil de aprender.

Experimento 2: La consulta en auto atención selecciona información de interés , enfocándose en el área o tamaño de una determinada imagen

Si lo considera como una restricción de posición, tiene malas propiedades (la anterior era para dibujar):

1. Centrado en objetos en múltiples modos (un objetivo pequeño, horizontal, vertical)
2. Comprobar si el peso de un objeto es similar

Figura (a) Si el objetivo en el conjunto de datos de coco tiene GT encima y debajo, será difícil localizarlo si hay varios objetos.

La parte inferior de la Figura (a) se centra en áreas que son demasiado grandes o demasiado pequeñas y no pueden inyectar información de ubicación útil en el proceso de extracción.

La figura (b) se centra en un determinado objeto en comparación con detr, pero ignora la información de escala del objeto (todos los círculos parecen del mismo tamaño)

Modelo

Consulte la estructura específica: https://img-blog.csdnimg.cn/c7bf7283aca94942b55606c667861bef.png

contribuir

Anclajes 4D: Aq=(xq,yq,wq,hq) (el método de uso proviene de detr condicional)

q significa el q-ésimo punto de anclaje
$${PAG}_{}=MLP\left(educación\; física\left({Un}_{}\right)\right)$$
el anclaje se convierte en 4d. Después de la codificación de posición, MLP obtiene el
$${EDUCACIÓN\; FÍSICA\left(Un\right)}_{}=EDUCACIÓN\; FÍSICA\left(x_{},y_{},w_{},h_{}\right)=Gato\left(educación\; física\left(x_{}\right),EDUCACIÓN\; FÍSICA\left(y_{}\right),EDUCACIÓN\; FÍSICA\left(w_{}\right),EDUCACIÓN\; FÍSICA\left(h_{}\right)\right)$$
La entrada PE es información de cuatro dimensiones. Los cuatro componentes de cat están codificados como 128 dimensiones. Después de cat, es 512 y mlp vuelve a 256. Auto-Atención:
$$\text{Atención propia:}{q}_{}=C_{}+{PAG}_{},k_{}=C_{}+{PAG}_{},V_{}=C_{}$$
autoatención没什么更改
$$\begin{array}{rl}\text{Atención cruzada:}& q_{}=\text{Gato}\left(C_{},\text{educación física}(x_{},y_{})\cdot {\text{MLP}}^{\left(\text{csq}\right)}\left(C_{}\right)\right),\\ & k_{x,}=\text{Gato}\left(F_{x,},\text{educación física}(x,y)\right),V_{x,}=F_{x,}\end{array}$$
atención cruzada

Q_q: donde C_q: el resultado de la autoatención anterior, seguido del método de detr condicional

k: Memoria+incrustación de poses

v: v permanece sin cambios

Actualización de anclaje (refinamiento de caja deformable):

Ancho y altura modulados:

El mapeo de atención posicional tradicional se utiliza como un método previo de tipo gaussiano, que supone un tamaño fijo,
pero el método previo simplemente supone que todos los objetos son isotrópicos y de tamaño fijo, ignorando su información de escala (ancho y alto).

Lo anterior es la atención estándar original.

Modifique el mapa de atención posicional separando por separado el ancho y el alto del ancla relevante de su parte x e y para suavizar el gaussiano antes de combinar mejor con objetos de diferentes escalas.

wq y hq son el ancho y alto del ancla Aq, wqref y hqref se obtienen mediante MLP

Ajuste de temperatura (aviso):

La codificación de posición en Transformer se codifica mediante funciones seno y coseno . La fórmula es la siguiente

pos representa la posición de la palabra en la oración, 2i o 2i + 1 representa un componente del vector de codificación de posición, 2i representa un número par y 2i + 1 representa un número impar. Se puede ver que la codificación de posición de un cierta palabra es un vector y no un valor. Está compuesta de palabras. La posición y la posición del componente se determinan conjuntamente.

​

def GetPosEncodingMatrix(max_len, d_emb):
    # 位置编码
    pos_enc = np.array([
        [pos / np.power(10000, 2 * (j // 2) / d_emb) for j in range(d_emb)]
        if pos != 0 else np.zeros(d_emb)
        for pos in range(max_len)
    ])
    pos_enc[1:, 0::2] = np.sin(pos_enc[1:, 0::2])  # dim 2i
    pos_enc[1:, 1::2] = np.cos(pos_enc[1:, 1::2])  # dim 2i+1
    return pos_enc
            
设置max_len为每个句子的最大长度为50，d_emb为每个词的embedding的维度为256，最终得到一个[50, 256]的位置编码矩阵，每一行代表一个位置的位置编码结果，每一列代表某个词在某个位置编码分量上的值。所有句子共享这个位置编码矩阵，也就是说所有句子相同位置的字/词的位置编码结果是一致的，

$$educación\; física(x{)}_{2i}=\mathrm{pecado}\left(\frac{}{t^{2i/D\_\_}}\right),educación\; física(x{)}_{2yo+}=\mathrm{porque}\left(\frac{}{t^{2i/D\_\_}}\right)$$
Parámetro de temperatura: NLP original es 10000, no apto para DETR