Tiefes Verständnis des Aufmerksamkeitsmechanismus

Dieser Artikel dient hauptsächlich dazu, mein System zu überwachen und das Wissen über den Aufmerksamkeitsmechanismus zu erlernen (ich habe ihn oft vage gelesen, aber nichts gelernt ... Ich habe erst nach dem Lesen des Artikels herausgefunden, dass ich das Wissen ergänzen muss). .
Es ist hauptsächlich in die folgenden Punkte unterteilt:

TEIL1----Welches Problem soll der Aufmerksamkeitsmechanismus lösen?

TEIL2 ----Mathematisches Prinzip des Mechanismus der sanften Aufmerksamkeit (sanfte Aufmerksamkeit)

TEIL3----Soft-Attention-Mechanismus, Encoder-Decoder-Framework, Seq2Seq

TEIL4----Das Prinzip des Selbstaufmerksamkeitsmodells

TEIL5----Mehrkopf Achtung

TEIL6----Anwendung des Aufmerksamkeitsmechanismus (Computer Vision-Bereich)

TEIL7----Queraufmerksamkeit

---

Welches Problem löst der TEIL1-Aufmerksamkeitsmechanismus?

Beim Lernen neuronaler Netze gilt im Allgemeinen: Je mehr Parameter das Modell hat, desto stärker ist die Ausdrucksfähigkeit des Modells und desto größer ist die im Modell gespeicherte Informationsmenge. Dies führt jedoch zu dem Problem der Informationsüberflutung. Durch die Einführung des Aufmerksamkeitsmechanismus, der Konzentration auf die Informationen, die für die aktuelle Aufgabe unter den zahlreichen Eingabeinformationen wichtiger sind, die Reduzierung der Aufmerksamkeit auf andere Informationen und sogar das Herausfiltern irrelevanter Informationen kann das Problem der Informationsüberflutung gelöst und die Effizienz gesteigert werden der Aufgabenbearbeitung verbessert werden. Effizienz und Genauigkeit.
Dies ähnelt unserem menschlichen visuellen Aufmerksamkeitsmechanismus . Durch schnelles Scannen des globalen Bildes finden wir den Zielbereich, auf den wir uns konzentrieren müssen, der im Allgemeinen als Fokus der Aufmerksamkeit bezeichnet wird, und investieren dann mehr Aufmerksamkeit in diesen Bereich, um ihn zu erhalten mehr Aufmerksamkeit. Es ist notwendig, auf die detaillierten Informationen des Ziels zu achten und gleichzeitig andere unwichtige und irrelevante Informationen zu ignorieren.
Der Aufmerksamkeitsmechanismus beim Deep Learning ähnelt im Wesentlichen dem selektiven visuellen Aufmerksamkeitsmechanismus des Menschen. Das Kernziel besteht darin, aus einer großen Anzahl von Informationen Informationen auszuwählen, die für das aktuelle Aufgabenziel wichtiger sind .

---

TEIL2 Mathematische Prinzipien des Mechanismus der sanften Aufmerksamkeit

(1) Das originellste Modell

$X=[x_{},X_{},...,X_{}]$ stellt N Eingabeinformationen dar. Um die Effizienz des neuronalen Netzwerks zu verbessern, ist es nicht erforderlich, dass das neuronale Netzwerk alle N Eingabeinformationen verarbeiten kann, sondern muss nur beiXXWählen Sie zur Berechnung einige aufgabenbezogene Informationseingaben in$X\; aus.$(Lassen Sie uns hier über den Unterschied zwischen weicher Aufmerksamkeit und harter Aufmerksamkeit sprechen.)Der Mechanismus der weichen Aufmerksamkeitbedeutet, dass bei der Auswahl von Informationen, anstatt eine aus N Informationen auszuwählen, das gemittelte Gewicht von N Eingabeinformationen berechnet und dann in das neuronale Netzwerk eingegeben wird Berechnung. Der Mechanismus der harten Aufmerksamkeitbezieht sich auf die Auswahl von Informationen an einer bestimmten Position in der Eingabesequenz, z. B. die zufällige Auswahl einer Information oder die Auswahl der Informationen mit der höchsten Wahrscheinlichkeit. Im Allgemeinen wird der Soft-Attention-Mechanismus verwendet, um das Problem des neuronalen Netzwerks zu lösen.
Hier stellen wir zunächst die Berechnung des Aufmerksamkeitswerts separat vor. Der vollständige Arbeitsablauf des neuronalen Netzwerks mit Aufmerksamkeitsmechanismus finden Sie in TEIL3.

Die Berechnung des Aufmerksamkeitswertes kann in zwei Schritte unterteilt werden:

(1) Berechnen Sie die Aufmerksamkeitsverteilung für alle Eingabeinformationen

In einem solchen Szenario: Geben Sie den Eingabeinformationsvektor $X$ wird als Informationsspeicher betrachtet und erhält nun einen Abfragevektor$q$ , wird zum Suchen und Auswählen$Einige\; Informationen\; in\; X$ , dann müssen Sie die Indexposition der ausgewählten Informationen kennen. Es wird ein weicher Auswahlmechanismus eingesetzt. Anstatt nur eine Information aus den gespeicherten Informationen auszuwählen, werden einige Informationen aus allen Informationen extrahiert, und es werden mehr der relevantesten Informationen extrahiert.
Definieren Sie eine Aufmerksamkeitsvariable$z\in [1,N]$ , um die Indexposition der ausgewählten Informationen darzustellen, d. h.$z=i$ bedeutet, dass das iiausgewählt ist$Ich$ gebe Informationen ein und berechne dann den gegebenen$q$ und$Im\; Fall\; von\; X$ wählen Sie$Die\; Wahrscheinlichkeit\; von\; i$ Eingabeinformationen$A_{}$: (

Fügen Sie hier die Softmax-Funktion hinzu: Die Bedeutung von Softmax besteht darin, dass es nicht mehr eindeutig einen bestimmten Maximalwert bestimmt, sondern jedem Ausgabeklassifizierungsergebnis einen Wahrscheinlichkeitswert zuweist, der die Möglichkeit der Zugehörigkeit zu jeder Kategorie angibt. Ein einzelner Ausgabeknoten Die Binärdatei Das Klassifizierungsproblem verwendet im Allgemeinen die Sigmoid-Funktion auf dem Ausgabeknoten, und das binäre Klassifizierungs- oder Mehrfachklassifizierungsproblem mit zwei oder mehr Ausgabeknoten verwendet im Allgemeinen die Softmax-Funktion auf dem Ausgabeknoten.) Unter diesen ist α
i $A_{}$Der resultierende Wahrscheinlichkeitsverteilungsvektor wird Aufmerksamkeitsverteilung (Aufmerksamkeitsverteilung) genannt. $s(x_{},q)$ ist die Aufmerksamkeitsbewertungsfunktion, die die folgenden Formen hat:

Unter ihnen $W$、$U$、$v$ ist ein lernbarer Netzwerkparameter,$d$ ist die Dimension der Eingabeinformationen.

(2) Berechnen Sie den gewichteten Durchschnitt der Eingabeinformationen entsprechend der Aufmerksamkeitsverteilung

Aufmerksamkeitsverteilung $A_{}$Gibt an, dass in einer bestimmten Abfrage $Wenn\; q$ , der EingabeinformationsvektorXXiiin$X$$Ich$ informiere und frage$Der\; Grad\; der\; Korrelation\; von\; q$ . Die Verwendung des Soft-Information-Auswahlmechanismus zur Bereitstellung der Ergebnisse der Abfrage besteht darin, die Eingabeinformationen in einem gewichteten Durchschnitt zusammenzufassen, um den Aufmerksamkeitswert zu erhalten: Das Folgende ist das Gesamtprozessdiagramm zur Berechnung des Aufmerksamkeitswerts

:

(2) Schlüssel-Wert-Paar-Aufmerksamkeitsmodus

Allgemeiner gesagt können Eingabeinformationen durch Schlüssel-Wert-Paare und dann $N$ Eingabeinformationen können ausgedrückt werden als:
$(K,V)=[(k_{},v_{}),(k_{},v_{}),...,(k_{},v_{})]$ , wobei Key zur Berechnung der Aufmerksamkeitsverteilung$A_{}$Der Wert wird zur Berechnung der aggregierten Informationen basierend auf der Aufmerksamkeitsverteilung verwendet .
Dann kann der Aufmerksamkeitsmechanismus als Soft-Adressierungsvorgang betrachtet werden: die Eingabeinformationen $X$ gilt als im Speicher abgelegter Inhalt. Das Element setzt sich aus der Adresse Key (Schlüssel) und dem Wert Value (Wert) zusammen. Derzeit erfolgt eine Abfrage von Key=Query (Darstellung der Zielaufgabe) und dem Ziel besteht darin, den entsprechenden Wertwert im Speicher abzurufen, dh den Aufmerksamkeitswert. Bei der Soft-Adressierung ist es nicht notwendig, die Bedingung „Key=Query“ strikt zu erfüllen, um gespeicherte Informationen abzurufen. Stattdessenwird ermittelt, wie viel Inhalt ausindemdie Ähnlichkeit zwischen der Abfrage und dem Adressschlüssel des Elements im Speicher. Der jedem Adressschlüssel entsprechende Wertwert wird extrahiert und summiert. Dies entspricht der Berechnung des Gewichts jedes Wertwerts basierend auf der Ähnlichkeit zwischen Abfrage und Schlüssel und dem anschließenden Gewichten und Summieren der Wertwerte, um den endgültigen Wert zu erhalten value ist der Aufmerksamkeitswert.

Es kann in drei Prozesse zusammengefasst werden:
Schritt 1: Berechnen Sie die Ähnlichkeit zwischen den beiden basierend auf Abfrage und Schlüssel . Kann mithilfe des oben aufgeführten additiven Modells, Skalarproduktmodells oder der Kosinusähnlichkeit berechnet werden, um den Aufmerksamkeitswert zu erhalten. $S_{}=F(Q,k_{})$
Schritt 2: Verwenden Sie die Softmax-Funktion, um den Aufmerksamkeitswert numerisch umzuwandeln. Einerseits kann eine Normalisierung durchgeführt werden, um eine Wahrscheinlichkeitsverteilung zu erhalten, in der die Summe aller Gewichtskoeffizienten 1 beträgt. Andererseits können die Eigenschaften der Softmax-Funktion verwendet werden, um die Gewichte wichtiger Elemente hervorzuheben (dies liegt daran, dass ... Die Softmax-Funktion in Form eines Index kann verwendet werden, um die große Lücke zu verringern. Der numerische Abstand ist größer):
$$A_{}=softmax(s\_{}_{})=\frac{exp(s_{}}{{\sum }_{j=1}^{}exp\left(s_{}\right)}$$

Schritt 3: Gewichteter und summierter Wert gemäß dem Gewichtungskoeffizienten : $Atention((K,V),F)={\sum }_{ich=1}^{}{A}_{}{v}_{}$

Das Diagramm sieht wie folgt aus:

Drücken Sie diese drei Prozesse mit Formeln aus: $$attention((K,V),q)=\sum _{ich=1}{A}_{}{v}_{}=\sum _{ich=1}\frac{exp\left(s\right(k_{},q)}{{\sum }_{j=1}^{}exp\left(s\right(k_{},q))}{v}_{}$$

---

TEIL3 Soft-Attention-Mechanismus und Encoder-Decoder-Framework

Der Aufmerksamkeitsmechanismus ist eine allgemeine Idee, die nicht von einem bestimmten Framework abhängt. Die meisten Aufmerksamkeitsmodelle werden jedoch derzeit in Verbindung mit dem Encoder-Decoder-Framework verwendet . Es lässt sich einfach in zwei Schritten zusammenfassen:

• Berechnen Sie die Aufmerksamkeitsverteilung für die gegebenen Informationen (d. h. beurteilen Sie, welche Informationen wichtig und welche nicht wichtig sind, und geben Sie jeweils unterschiedliche Gewichte an).
• Berechnen Sie den gewichteten Durchschnitt aller Eingabeinformationen entsprechend der Aufmerksamkeitsverteilung

Die folgende Abbildung zeigt die Struktur der Kombination der beiden im Bereich der Textverarbeitung (ohne Einführung von Aufmerksamkeit und Einführung eines Aufmerksamkeitsmodells):

Das Encoder-Decoder-Framework im Bereich der Textverarbeitung kann intuitiv verstanden werden: Es kann als allgemeines Verarbeitungsmodell betrachtet werden, das für die Verarbeitung eines Satzes (oder Kapitels) geeignet ist, um einen anderen Satz (oder ein Kapitel) zu generieren. Für das Satzpaar <Quelle, Ziel> besteht unser Ziel darin, den Eingabesatz „Quelle“ anzugeben und zu erwarten, dass der Zielsatz „Ziel“ über das Encoder-Decoder-Framework generiert wird. Quelle und Ziel können in derselben Sprache oder in zwei verschiedenen Sprachen vorliegen. Quelle und Ziel bestehen aus ihren jeweiligen Wortfolgen. Der Encoder dient dazu, die Eingabesatzquelle zu codieren und den Eingabesatz durch nichtlineare Transformation in eine semantische Zwischendarstellung $c$ . Für den Decoder Decoder besteht seine Aufgabe darin, ccdarzustellen$c$ und die zuvor generierten historischen Informationen, um Wörter zu generieren, die in Zukunft generiert werden sollen.

Das Encoder-Decoder-Framework ist ein gängiger Framework-Modus im Bereich Deep Learning und wird häufig in der Textverarbeitung, Spracherkennung und Bildverarbeitung verwendet. Sein Encoder und Decoder sind kein spezifisches neuronales Netzwerkmodell, und unterschiedliche Modelle werden auf unterschiedliche Aufgaben angewendet. Beispielsweise wird das RNN-Modell häufig in der Textverarbeitung und das CNN-Modell im Allgemeinen in der Bildverarbeitung verwendet.

Das Encoder-Decoder-Framework mit RNN als Encoder und Decoder wird auch als asynchrones Sequenz-zu-Sequenz-Modell bezeichnet, nämlich als Seq2Seq-Modell .

Das Folgende ist das RNN-Encoder-Decoder-Framework ohne Aufmerksamkeitsmechanismus:

Nehmen Sie das Seq2Seq-Modell als Beispiel, um das Modell ohne Aufmerksamkeitsmechanismus und das Modell mit Aufmerksamkeitsmechanismus zu vergleichen.

(1) RNN-Encoder-Decoder ohne Aufmerksamkeitsmechanismus

Bei der Verarbeitung von Sequenzdaten kann das RNN Encoder-Decoder-Framework ohne Aufmerksamkeitsmechanismus zunächst den Encoder verwenden, um die Sequenz $X$ wird in einen Vektor fester Länge codiert, der$C$ und verwenden Sie dann den Decoder, um diese Vektordarstellung in eine andere Sequenz yyvariabler Länge$y$ , die Eingabesequenz$X$ und die Ausgabesequenz$Die\; Länge\; von\; y$ kann unterschiedlich sein.
Der Artikel „Learning Phrase Representations Using RNN Encoder-Decoder for Statiscal Machine Translation“ schlägt eine RNN-Encoder-Decoder-Struktur vor, wie in der folgenden Abbildung dargestellt. Darüber hinaus wurde in diesem Artikel zunächst die GRU vorgeschlagen, eine häufig verwendete LSTM-Variantenstruktur.

Verwenden Sie diese Struktur in der Textverarbeitung bei gegebener Eingabesequenz $X=[x_{},X_{},...,X_{}]$ , bei dem es sich um einen Satz handelt, der aus Wortsequenzen besteht, ist ein solcher Codierungs-Decodierungsprozess gleichbedeutend mit dem Finden einer anderen Sequenz variabler Länge$j=[j_{},j_{},...,j_{}]$ bedingte Wahrscheinlichkeitsverteilung:$p\left(und\right)=p({und}_{},j_{},...,j_{}|x_{},X_{},...,X_{})$ . Nach der Dekodierung kann diese bedingte Wahrscheinlichkeitsverteilung in eine multiplikative Form umgewandelt werden:$p\left(und\right)={\prod }_{t=1}^{}p({und}_{}|\{y_{},...,j_{t-}\},c)$
Nachdem wir also den Darstellungsvektor$c$ und alle zuvor vorhergesagten Wörter$(J_{},j_{},...,j_{t-})$ kann dieses Modell zur Vorhersage des$t$ Worte$j_{}$, das heißt die bedingte Wahrscheinlichkeit $p({und}_{}|\{y_{},...,j_{t-}\},c)$

Im Vergleich zu Abbildung 1 oben berechnen wir die bedingte Wahrscheinlichkeit in drei Schritten :
Schritt 1: Geben Sie die Eingabesequenz XX einDieElemente$in$$H_{}$, und setzen Sie dann alle verborgenen Zustände $[h_{},H_{},...,H_{}]$ werden in einen semantischen Darstellungsvektor$c$：
$$H_{}=F_{}(x_{},H_{t-})C=q(\{h_{},H_{},...h_{}\})$$

Schritt 2: Das RNN-Netzwerk des Decoders jeden Moment $t$ gibt ein vorhergesagtes$j_{}$. Gemäß dem semantischen Darstellungsvektor $c$ , yt − 1 y_{t-1}im letzten Moment vorhergesagt$j_{t-}$Und der verborgene Zustand des Decoders $S_{t-}$, berechnen Sie die aktuelle Zeit ttDer verborgene Zustand von$t$$S_{}=F_{}(J_{t-},S_{t-},c)$
Schritt 3: dargestellt durch den semantischen Vektor$c$ , das vorhergesagte Wort$j_{t-}$und versteckter Zustand st s_t im Decoder$S_{}$, sagen Sie das $t$ Worte$j_{}$, das heißt, die folgende bedingte Wahrscheinlichkeit zu finden:
$p({und}_{}|\{y_{},...,j_{t-}\},c)=g(y_{t-},S_{},c)$

Es ist ersichtlich, dass bei der Generierung jedes Wortes des Zielsatzes der semantische Vektor $c$ ist dasselbe, was bedeutet, dassein bestimmtes Wort$j_{}$Wenn ein eingegebenes Wort die gleiche Bedeutung hat , wird die Aufmerksamkeit zerstreut . Das heißt, wenn jedes Wort generiert wird,$[c_{},C_{},...c_{}]$ solche mehreren unterschiedlichen semantischen Darstellungen, die jedem Ausgabewort entsprechen.

(2) RNN-Encoder-Decoder mit Aufmerksamkeitsmechanismus

Basierend auf dem oben genannten Artikel schlägt der Artikel „Neural Machine Translation by Jointly Learning to Align and Translate“ eine neue Struktur eines neuronalen Netzwerkübersetzungsmodells vor, das heißt, dem RNN Encoder-Decoder-Framework wird ein Aufmerksamkeitsmechanismus hinzugefügt. , der Encoder in diesem Papier ist eine bidirektionale GRU, und der Decoder verwendet auch ein RNN-Netzwerk, um Sätze zu generieren.
Verwenden Sie dieses Modell für die maschinelle Übersetzung und geben Sie dann einen Satz $X=[x_{},X_{},...,X_{}]$ , nach der Codierungs-Decodierungsoperation einen Zielsatz in einer anderen Sprache generieren$j=[j_{},j_{},...,j_{}]$ , das heißt, um die bedingte Wahrscheinlichkeit jedes möglichen Wortes für die Suche nach dem wahrscheinlichsten Wort zu berechnen, lautet die Formel wie folgt:
$$p({und}_{}|y_{},...j_{i-},x)=g(y_{i-},S_{},C_{})$$

tt generieren$Das\; Prozessdiagramm\; von\; t$ Wörtern lautet wie folgt:

Im Vergleich zum RNN Encoder-Decoder-Framework ohne Aufmerksamkeitsmechanismus, einerseits von$j_{}$Aus der Berechnungsformel für die bedingte Wahrscheinlichkeit ergibt sich: $g(\cdot )$ Der semantische Darstellungsvektor in dieser nichtlinearen Funktion istdie Ausgabe$j_{}$Die Veränderung von $C_{}$, anstelle der Konstante $c$ ; Andererseits generiert jedes Wort aus der obigen Abbildung$j_{}$, ist es notwendig , die ursprüngliche Satzfolge $X$ und andere Informationen berechnen einen semantischen Darstellungsvektor$C_{}$. Daher liegt der Schlüssel zum RNN-Encoder-Decoder-Framework mit dem Aufmerksamkeitsmechanismus darin, dass der semantische Darstellungsvektor $c$ wird durch eine semantische Darstellung ci c_i, die sich entsprechend dem aktuell generierten Wort ständig ändert$C_{}$。

Im Vergleich zur obigen Abbildung berechnen wir das generierte Wort $j_{}$Die bedingte Wahrscheinlichkeit von :
Schritt1 : gegeben die ursprüngliche Eingabesequenz (d. h. ein Satz) $X=[x_{},X_{},...,X_{}]$ , geben Sie die Wörter einzeln in das RNN-Netzwerk des Encoders ein undberechnen Sie den verborgenen Zustand$H_{}$, der hier verwendete Encoder ist ein bidirektionales RNN, daher ist es notwendig, die verborgenen Zustände der Vorwärtszeitschleifenschicht bzw. der Rückwärtszeitschleifenschicht zu berechnen und dann alle verborgenen Zustände zusammenzufügen: ht ( 1 ) = f ( U ( 1 ) ht
$$H_T^{(1}=f(U^{\left(1\right)}{Std}_{t-1}^{(1}+W^{\left(1\right)}{x}_{}+B^{\left(1\right)})H_T^{(2}=f(U^{\left(2\right)}{Std}_{t+1}^{(2}+W^{\left(2\right)}{x}_{}+B^{\left(2\right)})H_{}=H_T^{(1}\oplus H_T^{(2}$$

Schritt 2 : Im RNN-Netzwerk des Decoders das erste $Zum\; Zeitpunkt\; t$ gemäß dem bekannten semantischen Darstellungsvektor$C_{}$, yt − 1 y_{t-1} im letzten Moment vorhergesagt$j_{t-}$, der versteckte Zustand st − 1 s_{t-1} im Encoder$S_{t-}$, berechne den verborgenen Zustand im aktuellen Moment $S_{}=F_{}(J_{t-},S_{t-},C_{})$  （$C_{}$Was ist der Wert? )
Schritt 3 : ct c_t finden$C_{}$, müssen zuerst $S_{t-}$：
$$e_{}=ein(s_{i-},H_{})A_{}=\frac{exp(e_{}}{{\sum }_{k=1}^{}exp\left(e_{}\right)}{C}_{}=\sum _{j=1}^{T_{}}{A}_{}{H}_{}$$
Hier $e_{}$Das heißt, es gibt keinen normalisierten Aufmerksamkeitswert . $ein(\cdot )$ Diese nichtlineare Funktion wird als Ausrichtungsmodell bezeichnet. Ihre Aufgabe besteht darin, jedes Wort xj x_j in den Encoder$X_{}$Der entsprechende verborgene Zustand $H_{}$und generieren Sie das Wort yi y_i im Decoder$j_{}$Der verborgene Zustand des vorherigen Wortes $S_{i-}$Zum Vergleich: Berechnen Sie jedes Eingabewort $X_{}$und generieren Sie das Wort $j_{}$Grad der Übereinstimmung zwischen ihnen. Je höher der Grad der Übereinstimmung, desto höher ist die Aufmerksamkeitsbewertung und dann das Wort $j_{}$Wir müssen dem Eingabewort mehr Aufmerksamkeit schenken .
Holen Sie sich den Aufmerksamkeitswert $e_{}$Verwenden Sie anschließend die Softmax-Funktion zur Normalisierung, um die Aufmerksamkeitswahrscheinlichkeitsverteilung $P_{}$. Diese Aufmerksamkeitsverteilung dient als jedes Eingabewort $X_{}$Das Gewicht ist der Grad der Aufmerksamkeit, der verborgene Zustand hj h_j entspricht jedem eingegebenen Wort$H_{}$Führen Sie eine gewichtete Summierung durch, um jedes generierte Wort $j_{}$Der entsprechende semantische Darstellungsvektor $C_{}$, das ist der Aufmerksamkeitswert .
Schritt 4 : Unser Ziel ist es nicht, den Aufmerksamkeitswert zu finden, sondern das generierte Wort yi y_i zu finden$j_{}$Bedingte Wahrscheinlichkeit von : $p({und}_{}|\{y_{},...,j_{t-}\},c)=g(y_{t-},S_{},c)$

---

TEIL4 Selbstaufmerksamkeitsmodell

(1) Beliebte Erklärung

Vergleichen wir es mit dem Soft Attention Encoder-Decoder-Modell, um uns mit dem Self-Attention-Modell vertraut zu machen.

Im Soft-Attention-Encoder-Decoder-Modell , genauer gesagt im maschinellen Übersetzungsmodell, sind der Inhalt und die Länge der Eingabesequenz und der Ausgabesequenz unterschiedlich, und der Aufmerksamkeitsmechanismus findet zwischen dem Encoder und dem Decoder statt Es tritt zwischen der eingegebenen ursprünglichen Satzsequenz und der generierten Ausgabesequenz auf. Zu diesem Zeitpunkt kommt die Abfrage vom Ziel und der Schlüssel und der Wert kommen von der Quelle . Der Selbstaufmerksamkeitsmechanismus im Selbstaufmerksamkeitsmodell erfolgt innerhalb der Eingabesequenz oder innerhalb der Ausgabesequenz. Im Sonderfall Ziel = Quelle kann er auch als Aufmerksamkeitsberechnungsmechanismus verstanden werden. Zu diesem Zeitpunkt sind Abfrage, Schlüssel und Wert vorhanden kommen vonQuelle oder Ziel , die die Verbindung zwischen Wörtern extrahieren kann, die im selben Satz weit voneinander entfernt sind, wie z. B. syntaktische Merkmale (Phrasenstruktur mit einem bestimmten Abstand) .

Wenn es sich um ein reines RNN-Netzwerk handelt, werden der verborgene Zustand und die Ausgabe Schritt für Schritt für die Eingabesequenz berechnet. Bei weit entfernten, aber voneinander abhängigen Merkmalen ist es weniger wahrscheinlich, dass das Netzwerk die Verbindung zwischen den beiden erfasst, während es sich innerhalb der Sequenz befindet Nach Einführung des Selbstaufmerksamkeitsmechanismus können zwei beliebige Wörter im Satz durch Berechnung direkt verbunden werden, wodurch es einfacher wird, voneinander abhängige Merkmale zu erfassen.

(2) Theoretische Analyse

Nachdem wir ein allgemeines Verständnis der Selbstaufmerksamkeit erlangt haben, verwenden wir die Formel, um das Selbstaufmerksamkeitsmodell zu definieren.
Das Selbstaufmerksamkeitsmodell befindet sich zwischen der Eingabe und der Ausgabe desselben Schichtnetzwerks (nicht der endgültigen Ausgabe des Modells) und verwendet den Aufmerksamkeitsmechanismus, um dynamisch die Gewichte verschiedener Verbindungen zu generieren und das Ausgabemodell des Schichtnetzwerks zu erhalten.
Wie bereits erwähnt, kann das Selbstaufmerksamkeitsmodell Fernabhängigkeiten innerhalb der Sequenz herstellen. Tatsächlich kann dies auch über ein vollständig verbundenes neuronales Netzwerk erfolgen, das Problem besteht jedoch darin, dass die Anzahl der Verbindungskanten des vollständig verbundenen Netzwerks gleich ist fest, sodass variable Längen nicht verarbeitet werden können. Die Sequenz von. Das Selbstaufmerksamkeitsmodell kann die Gewichte verschiedener Verbindungen dynamisch generieren, wie viele Gewichte generiert werden und die Größe der Gewichte sind alle variabel. Wenn eine längere Sequenz eingegeben wird, müssen nur mehr Verbindungskanten generiert werden. Wie in der Abbildung unten gezeigt, wird die gepunktete Verbindungskante dynamisch geändert.

Verwenden Sie eine mathematische Formel, um den Selbstaufmerksamkeitsmechanismus auszudrücken: Angenommen, die Eingabesequenz in einer neuronalen Schicht ist $X=[x_{},X_{},...,X_{}]$ ist die Ausgabesequenz H = [ h 1 , h 2 , . . . , h N ] H=[h_1, h_2, ..., h_N] derselbenLänge$H=[h_{},H_{},...,H_{}]$ Geben Sie zunächst die Eingabe$X$ wird durch lineare Transformation in drei verschiedene Räume projiziert (die Bedeutung der linearen Projektion besteht hier darin, drei verschiedene Matrizen zu lernen), und es werden drei Sätze von Vektorsequenzen erhalten: Q = WQX
$$Q=W_{}X\in R^{D_{}\times N}K=W_{}X\in R^{D_{}\times N}V=W_{}X\in R^{D_{}\times N}$$

Unter ihnen $Q$ ,$K$ ,$V$ ist die Abfragevektorsequenz$[q_{},...,Q_{}]$ , Schlüsselvektorsequenz$[k_{},...,k_{}]$ , Wertvektorfolge$[v_{},...,v_{}]$ ,$W_{}$、$W_{}$、$W_{}$sind jeweils lernbare Parametermatrizen.
Ausgabevektor $H_{}$Beispiel:
$$H_{}=attention((K,V),Q_{})=\sum _{j=1}{A}_{}{v}_{}=\sum _{j=1}softmax\left(s\right(k\_{}_{},Q_{}\left)v_{}\right)$$

wobei $ich,J\in [1,N]$ ist die Position des Ausgangsvektors und der Eingangsvektorsequenz sowie das Verbindungsgewicht$\alpha ij$ wird dynamisch durch den Aufmerksamkeitsmechanismus generiert.
Das Gesamtdiagramm sieht wie folgt aus:

Nehmen Sie in diesem Bild an, dass drei$X$ -Sequenz (N=3), jeweils mit der Länge$D_{}$Dann werden zu diesem Zeitpunkt drei Abfragevektoren erhalten, und jeder Abfragevektor erhält ein entsprechendes Ergebnis zum Zusammensetzen, ohne die Eingabe $X$ entspricht der Dimension von N, aber die Länge$D_{}$geändert zu $D_{}$(hier $D_{}$Es kann beliebig eingestellt werden, solange es zu diesem Zeitpunkt von $X$ zum WertVVDie Matrix W v W_ventspricht der Projektionsoperation von$V$$W_{}$darauf). Das heißt, durch die obigen Operationen kann die Sequenz variabler Länge $D_{}$Generieren Sie dynamisch geeignete Gewichte und konvertieren Sie sie in eine feste Länge $D_{}$。

Der Selbstaufmerksamkeitsmechanismus kann als Schicht eines neuronalen Netzwerks verwendet werden oder als Ersatz für eine Faltungsschicht oder eine wiederkehrende Schicht verwendet werden oder er kann mit einer Faltungsschicht oder einer wiederkehrenden Schicht gekreuzt gestapelt werden.

In der folgenden Abbildung stellen sowohl die Eingabesequenz als auch die Ausgabesequenz denselben Satz dar. Durch das dynamisch durch den Selbstaufmerksamkeitsmechanismus erzeugte Gewicht kann festgestellt werden, dass das Gewicht des Machens und Erschwerens relativ groß ist (die Farbe ist). dunkel), sodass die drei Wörter erfasst werden. Die Verbindungen, die zwischen ihnen bestehen (um eine Phrase zu bilden). Offensichtlich ist es nach der Einführung der Selbstaufmerksamkeit einfacher, die über große Entfernungen voneinander abhängigen Merkmale im Satz zu erfassen, denn wenn es sich um RNN oder LSTM handelt, müssen sie nacheinander berechnet werden. Für die über große Entfernungen voneinander abhängigen Merkmale sind mehrere erforderlich Zeitschritte. Es bedarf einer Informationsakkumulation, um die beiden zu verbinden, und je weiter die Entfernung, desto unwahrscheinlicher ist es, dass sie effektiv erfasst wird.

Während des Berechnungsprozesses stellt Self Attention jedoch durch einen Berechnungsschritt eine direkte Verbindung zwischen zwei beliebigen Wörtern im Satz her, sodass der Abstand zwischen fernabhängigen Merkmalen erheblich verkürzt wird, was der effektiven Nutzung dieser Merkmale förderlich ist . Darüber hinaus trägt die Selbstaufmerksamkeit auch direkt dazu bei, die Parallelität der Berechnungen zu erhöhen, was sich hauptsächlich im Matrixberechnungsprozess der Selbstaufmerksamkeit widerspiegelt . Dies ist der Hauptgrund dafür, dass Selbstaufmerksamkeit nach und nach weit verbreitet ist.

---

TEIL5 Mehrköpfige Aufmerksamkeit

Die Idee der Multi-Head-Aufmerksamkeit ist relativ einfach, das heißt, es gibt mehrere Abfragevektoren $Q=[q_{},...,Q_{}]$ , um parallel nach den gewünschten Informationen aus der Eingabe zu suchen. Das intuitive Verständnis besteht darin, dass zur Lösung des Problems viele verschiedene Aspekte von Informationen erforderlich sind und jeder Abfragevektor$Q_{}$Bei den Untersuchungen handelt es sich jeweils um unterschiedliche Aspekte. Zu diesem Zeitpunkt werden unterschiedliche $Q_{}$Bewerten Sie die Wichtigkeit der Eingabeinformationen aus verschiedenen Blickwinkeln und aggregieren Sie sie dann bis zu einem gewissen Grad.
Das heißt, der Prozess der Aufmerksamkeitsberechnung h-mal zu wiederholen und dann die Ergebnisse zusammenzufügen. Am Beispiel der üblichen skalierten Skalarprodukt-Aufmerksamkeitsberechnung ist sie grob in zwei Schritte unterteilt: Schritt 1: Q, K und V durch
abbilden die Parametermatrix, und dann achten Sie darauf, diesen Vorgang h-mal zu wiederholen,
Schritt 2: Zusammenfügen der Ausgabe mehrerer Köpfe
$$MultiHead((K,V),q)=Concat(((K,V),Q_{}),...,((K,V),Q_{}))$$

Der sogenannte Multi-Head besteht darin, dasselbe mehrmals zu tun (Parameter werden nicht gemeinsam genutzt) und dann die Ergebnisse zusammenzufügen. Sehen wir uns die Selbstaufmerksamkeit im vorherigen Abschnitt noch einmal an: Zum Beispiel das entsprechende $Die\; Dimension\; von\; X$ ist$D_{}$, insgesamt N, jedes Mal durch eine Matrix $W_{}$Bei der Projektion in eine Abfragematrix können N Abfragevektoren gleichzeitig erhalten werden, und diese N Abfragevektoren können sicherstellen, dass die nachfolgenden Ausgabeergebnisse insgesamt immer noch N sind (nur eine andere Dimension wird durch die Dimension D v D_v des Werts bestimmt). $D_{}$Entscheiden). Berücksichtigen Sie die Aufmerksamkeit mehrerer Köpfe, das heißt, zu diesem Zeitpunkt überlegen wir, ob wir mehrere Abfragematrizen erhalten können, um XX aus verschiedenen Blickwinkeln zu erfassenDer wichtige Fall von$X$ , also die Verwendung mehrerer Matrizen$W_{Q_{}}$Projizieren Sie es auf m verschiedene Räume, um m Abfragematrizen zu erhalten, insgesamt $M\ast N$ Vektoren, berechnen Sie dann die Ausgabe separat und fügen Sie sie schließlich mithilfe der Vektorspleißmethode zusammen, um das Endergebnis zu erhalten.

Single-Head Attention VS Multi-Head Attention vergleicht den Berechnungsprozess des Multi-Head-Aufmerksamkeitsmechanismus und den Berechnungsprozess des Multi-Head-Aufmerksamkeitsmechanismus.

---

Anwendung von TEIL6 Aufmerksamkeitsmechanismus (im Bereich Computer Vision)

Kann der Aufmerksamkeitsmechanismus Computer Vision unterstützen? Aufmerksamkeit selbst ist ein Gewicht, und Gewichtung bedeutet, dass unterschiedliche Informationen zusammengeführt werden können. CNN selbst weist einen Fehler auf: Jede Operation kann sich nur auf Informationen in der Nähe des Faltungskerns (lokale Informationen) konzentrieren und entfernte Informationen (nicht lokale Informationen) nicht zusammenführen. Und Aufmerksamkeit kann auch dabei helfen, entfernte Informationen zu gewichten und zu integrieren, indem sie eine unterstützende Rolle spielt.

Wie in der Abbildung oben gezeigt, ist die obere linke Seite jedes Beispiels das ursprüngliche Eingabebild, der untere Satz ist der vom künstlichen Intelligenzsystem automatisch generierte Beschreibungssatz und die obere rechte Abbildung zeigt das entsprechende Bild, wenn das KI-System aktiviert ist Erzeugt ein horizontales Wort im Satz Focused location area in . Wenn beispielsweise das Wort Hund ausgegeben wird, achtet das KI-System stärker auf die Position, die dem Welpen im Bild entspricht.

In verwandten Anwendungen des Computer Vision kann es grob in zwei Typen unterteilt werden :
(1) Lerngewichtsverteilung: Verschiedene Teile der Eingabedaten oder Feature-Maps entsprechen unterschiedlichen Konzentrationsgraden

• Diese Gewichtung kann darin bestehen, alle Komponenten als Gewichte beizubehalten (d. h. weiche Aufmerksamkeit), oder sie kann auch darin bestehen, einige Komponenten mit einer bestimmten Stichprobenstrategie in der Verteilung auszuwählen (d. h. harte Aufmerksamkeit). Zu diesem Zeitpunkt wird häufig RL verwendet .
• Diese Gewichtung kann auf das Originalbild angewendet werden, d. h. „Recurrent Model of Visual Attention“ (RAM) und „Multiple Object Recognition with Visual Attention“ (DRAM); sie kann auch auf die Feature-Map angewendet werden, beispielsweise auf viele nachfolgende Artikel (z. B. Bildunterschrift „Show, Attend and Tell: Neural Image Caption Generation with Visual Attention“ in .
• Diese Gewichtung kann sich auf die räumliche Skala auswirken und verschiedene räumliche Regionen gewichten; sie kann auch auf die Kanalskala wirken und verschiedene Kanalmerkmale gewichten; sogar jedes Element auf der Merkmalskarte gewichten.
• Diese Gewichtung kann auch auf historische Merkmale zu unterschiedlichen Zeitpunkten angewendet werden, beispielsweise auf maschinelle Übersetzung.

(2) Aufgabenfokus: Durch Zerlegen von Aufgaben, Entwerfen verschiedener Netzwerkstrukturen (oder Zweige), um sich auf verschiedene Unteraufgaben zu konzentrieren, und Neuverteilen der Lernfähigkeit des Netzwerks, wodurch die Schwierigkeit der ursprünglichen Aufgabe verringert und das Trainieren des Netzwerks erleichtert wird.

---

TEIL7 Kreuzaufmerksamkeit

Queraufmerksamkeit ändert nur die Eingabe der Selbstaufmerksamkeit. Die Eingabe der Queraufmerksamkeit kommt aus verschiedenen Sequenzen, und die Eingabe der Selbstaufmerksamkeit kommt aus derselben Sequenz, was die sogenannte unterschiedliche Eingabe ist. Konkret handelt es sich bei der Selbstaufmerksamkeitseingabe um eine einzelne Sequenz von Einbettungen . Cross-Attention kombiniert asymmetrisch zwei Einbettungssequenzen derselben Dimension, wobei eine Sequenz als Abfrage-Q-Eingabe und die andere Sequenz als Schlüssel-K- und Wert-V-Eingabe verwendet wird . Natürlich gibt es Einzelfälle, in denen SelfDoc eine Folge von Abfragen und Werten und eine andere Folge von Schlüsseln verwendet. Insgesamt besteht QKV aus zwei Sequenzen, nicht aus einer einzigen.

Es wird schließlich im Decoder von Transformer verwendet. Das Decodermodul des Transformers ist auf der rechten Seite der folgenden Abbildung dargestellt. Es verfügt über drei Eingänge: Eingang1, Eingang2 und Eingang3. Der Decoder gibt zunächst rekursiv Eingabe1 ein : die Ausgabe des Decoders zum vergangenen Zeitpunkt und Eingabe2: Die Positionscodierung, die die Positionsinformationen darstellt wird hinzugefügt, und nach der maskierten Mehrkopfaufmerksamkeit erfolgt die Queraufmerksamkeit mit Eingabe3: der Ausgabe des Encoders . Daher wird Queraufmerksamkeit normalerweise als Decodermodul verwendet und zusammen mit Selbstaufmerksamkeit als Encoder verwendet.

Die Abfrageeingabe von Cross Attention kommt von der Ausgabe des Encoders (Selbstaufmerksamkeit), während der Schlüssel und der Wert von der anfänglichen Eingabe, also der Eingabe des Encoders, stammen. Das heißt, die Ausgabe des Encoders wird als Darstellung des vorhergesagten Satzes verwendet und anschließend zur Abfrage der Ähnlichkeit mit jedem Wort im ursprünglichen Eingabesatz verwendet. Was Cross Attention tut, besteht darin, Schlüssel-/Wertinformationen zur Darstellung von Abfrageinformationen zu verwenden oder Schlüssel-/Wertinformationen in Abfrageinformationen einzuführen (da es eine Restschicht gibt, die zu den ursprünglichen Abfrageinformationen hinzugefügt wird), und was erhalten wird, ist eine Abfrage für Schlüsselrelevanz (Abfrage zu Schlüssel, z. B. Fahrzeug zu Fahrspuren, umgekehrt).

Cross Attention wird im Decoder häufig verwendet. Nachdem der Encoder Self Attention verwendet hat, verwendet er im Allgemeinen zuerst die Cross Attention-Netzwerkschicht, um den Aufmerksamkeitswert im Decoder zu erhalten, und verbindet dann eine MLP-Schicht oder LSTM-Schicht, um das Ziel vorherzusagen Besser als die direkte Verwendung von MLP oder LSTM als Decoder. Der Effekt wird viel besser sein. Cross Attention kann auch Informationen aus jeder vorherigen Schicht der Netzwerkschicht wieder einführen, ähnlich der Restfunktion, aber flexibler.

Darüber hinaus können die Abfrage und der Schlüssel der Queraufmerksamkeit auch aus zwei verschiedenen modalen Eingaben stammen, beispielsweise ist eine ein Bild und die andere der entsprechende Text, der verwendet wird, um die Korrelation zwischen den beiden, also dem Bild, zu ermitteln -Text-Aufgabe, die auch eine der ursprünglichen Absichten dieses Moduls ist.

---

Verweise:

Der Aufmerksamkeitsmechanismus beim Deep Learning
liest den Aufmerksamkeitsmechanismus
GAT, Selbstaufmerksamkeit, Queraufmerksamkeitsvergleich und die Pytorch-Anwendung in der automatischen Fahrbahnvorhersageaufgabe.
Abbildung: Selbstaufmerksamkeit,
detaillierte Selbstaufmerksamkeit und Mehrkopfaufmerksamkeit