DAB-DETR

DAB-DETR (2022ICLR)

DAB: Dynamische Ankerboxen

beitragen:

1. Es wurde klargestellt, dass langsame Konvergenz nicht durch lernbare Abfragen verursacht wird

2. 4D-Anker

3. Anker-Update

4. Breite und Höhe moduliert

5. Temperaturabstimmung

Erster Teil: Warum ein Positionsprior das Training beschleunigen könnte?

Warum kann eine vorherige Positionierung das DETR-Training beschleunigen?

(a) Bildfunktion + Pos-Einbettung

(b) Erste /Decoder-Ausgabe + Objektabfrage

Zwei mögliche Gründe für langsame Konvergenz:

1. Optimierungsherausforderung, Objektabfrage ist schwer zu erlernen
2. Die Positionsinformationen in Abfragen gelernter Objekte werden anders codiert als die sinusförmige Positionscodierung, die für Bildmerkmale verwendet wird (der ursprüngliche Detr ist die Einbettung und die Positionseinbettung ist anders).

Experiment 1: Geben Sie die Abfrage des gelernten Objekts an den untrainierten DETR weiter. In der ersten Hälfte der Epoche ist sie nur geringfügig höher, sodass die Abfrage nicht schwer zu erlernen ist.

Experiment 2: Die Abfrage der Selbstaufmerksamkeit wählt interessante Informationen aus und konzentriert sich dabei auf den Bereich oder die Größe eines bestimmten Bildes

Wenn Sie es als Positionsbeschränkung betrachten, hat es schlechte Eigenschaften (die vorherige war zum Zeichnen gedacht):

1. Konzentriert sich auf Objekte in mehreren Modi (ein Schlitz, kleines Ziel, horizontal, vertikal)
2. Prüfen Sie, ob das Gewicht eines Gegenstandes ähnlich ist

Abbildung (a) Wenn das Ziel im Coco-Datensatz zufällig über und unter GT verfügt, wird es schwierig sein, es zu lokalisieren, wenn mehrere Objekte vorhanden sind.

Der untere Teil von Abbildung (a) konzentriert sich auf Bereiche, die zu groß oder zu klein sind und keine nützlichen Standortinformationen in den Extraktionsprozess einbringen können.

Abbildung (b) konzentriert sich im Vergleich zu detr auf ein bestimmtes Objekt, ignoriert jedoch die Skalierungsinformationen des Objekts (die Kreise sehen alle gleich groß aus).

Modell

Siehe die spezifische Struktur: https://img-blog.csdnimg.cn/c7bf7283aca94942b55606c667861bef.png

beitragen

4D-Anker: Aq=(xq,yq,wq,hq) (die Verwendungsmethode kommt von bedingtem Detr)

q bedeutet den q-ten Ankerpunkt
$$P_{}=MLP\left(PE\left(A_{}\right)\right)$$
Anker wird zu 4d. Nach der Positionscodierung erhält MLP die Positionseinbettung
$${SPORT\left(A\right)}_{}=SPORT\left(x_{},j_{},w_{},H_{}\right)=Katze\left(PE\left(x_{}\right),SPORT\left(J_{}\right),SPORT\left(w_{}\right),SPORT\left(h_{}\right)\right)$$
PE-Eingabe ist vierdimensionale Information. Alle vier Komponenten von cat werden als 128 Dimensionen codiert. Nach cat ist es 512 und mlp ändert sich wieder auf 256. Selbstaufmerksamkeit:
$$\text{Selbstachtung:}{Q}_{}=C_{}+P_{},K_{}=C_{}+P_{},V_{}=C_{}$$
Selbstaufmerksamkeit没什么更改
$$\begin{array}{rl}\text{Gegenhinweis:}& Q_{}=\text{Katze}\left(C_{},\text{PE}(x_{},j_{})\cdot {\text{MLP}}^{\left(\text{csq}\right)}\left(C_{}\right)\right),\\ & K_{x,}=\text{Katze}\left(F_{x,},\text{PE}(x,y)\right),V_{x,}=F_{x,}\end{array}$$
Queraufmerksamkeit

Q_q: Wobei C_q: die Ausgabe der vorherigen Selbstaufmerksamkeit, gefolgt von der bedingten Detr-Methode

k: Speicher + Einbettung

v: v bleibt unverändert

Anker-Update (Verfeinerung der verformbaren Box):

Breiten- und höhenmoduliert:

Die herkömmliche Positionsaufmerksamkeitszuordnung wird als Gauß-ähnlicher Prior verwendet, der eine feste Größe annimmt.
Der Prior geht jedoch einfach davon aus, dass alle Objekte isotrop und eine feste Größe sind, und ignoriert ihre Skalierungsinformationen (Breite und Höhe).

Das Obige ist die ursprüngliche Standardaufmerksamkeit

Ändern Sie die Positionsaufmerksamkeitskarte, indem Sie die Breite und Höhe des relevanten Ankers separat von seinem x-Teil und y-Teil trennen, um die Gaußsche Funktion zu glätten, bevor sie besser mit Objekten unterschiedlicher Maßstäbe übereinstimmt

wq und hq sind die Breite und Höhe des Ankers. Aq, wqref und hqref werden durch MLP ermittelt

Temperaturabstimmung (prompt):

Die Positionskodierung in Transformer wird mithilfe von Sinus- und Kosinusfunktionen kodiert . Die Formel lautet wie folgt

pos stellt die Position des Wortes im Satz dar, 2i oder 2i + 1 stellt eine Komponente des Positionskodierungsvektors dar, 2i stellt eine gerade Zahl dar und 2i + 1 stellt eine ungerade Zahl dar. Es ist ersichtlich, dass die Positionskodierung von a Ein bestimmtes Wort ist ein Vektor und kein Wert. Es besteht aus Wörtern. Die Position und die Komponentenposition werden gemeinsam bestimmt.

​

def GetPosEncodingMatrix(max_len, d_emb):
    # 位置编码
    pos_enc = np.array([
        [pos / np.power(10000, 2 * (j // 2) / d_emb) for j in range(d_emb)]
        if pos != 0 else np.zeros(d_emb)
        for pos in range(max_len)
    ])
    pos_enc[1:, 0::2] = np.sin(pos_enc[1:, 0::2])  # dim 2i
    pos_enc[1:, 1::2] = np.cos(pos_enc[1:, 1::2])  # dim 2i+1
    return pos_enc
            
设置max_len为每个句子的最大长度为50，d_emb为每个词的embedding的维度为256，最终得到一个[50, 256]的位置编码矩阵，每一行代表一个位置的位置编码结果，每一列代表某个词在某个位置编码分量上的值。所有句子共享这个位置编码矩阵，也就是说所有句子相同位置的字/词的位置编码结果是一致的，

$$\mathrm{PE}(x{)}_{2i}=\mathrm{Sünde}\left(\frac{}{T^{2i/D\_\_}}\right),\mathrm{PE}(x{)}_{2ich+}=\cos \left(\frac{}{T^{2i/D\_\_}}\right)$$
Temperaturparameter: Original-NLP ist 10000, nicht für DETR geeignet