In diesem Tutorial verwenden wir PyTorch, um ein grundlegendes Transformer-Modell von Grund auf zu erstellen. Das von Vaswani et al. vorgeschlagene Transformer-Modell. In dem Artikel „Aufmerksamkeit ist alles, was Sie brauchen“ wird eine Deep-Learning-Architektur beschrieben, die für Sequenz-zu-Sequenz-Aufgaben wie maschinelle Übersetzung und Textzusammenfassung entwickelt wurde. Es basiert auf dem Selbstaufmerksamkeitsmechanismus, der die Grundlage vieler hochmoderner Modelle zur Verarbeitung natürlicher Sprache wie GPT und BERT bildet.
Um das Transformer-Modell zu erstellen, führen wir die folgenden Schritte aus:
- Importieren Sie die erforderlichen Bibliotheken und Module
- Grundbausteine definieren: Multi-Head-Aufmerksamkeit, Positions-Feed-Forward-Netzwerke, Positionskodierung
- Erstellen Sie die Encoder- und Decoder-Ebenen
- Kombinieren Sie Encoder- und Decoder-Ebenen, um ein vollständiges Transformer-Modell zu erstellen
- Bereiten Sie Beispieldaten vor
- Trainingsmodell
Beginnen wir mit dem Import der notwendigen Bibliotheken und Module.
import torch
import torch.nn as nn
import torch.optim as optim
import torch.utils.data as data
import math
import copy
Wir werden nun die Grundbausteine des Transformer-Modells definieren.
Mehrköpfige Aufmerksamkeit
Der Multi-Head-Aufmerksamkeitsmechanismus berechnet die Aufmerksamkeit zwischen jedem Positionspaar in der Sequenz. Es besteht aus mehreren „Aufmerksamkeitsköpfen“, die verschiedene Aspekte der Eingabesequenz erfassen.
Der MultiHeadAttention-Code initialisiert das Modul mit Eingabeparametern und einer linearen Transformationsschicht. Es berechnet Aufmerksamkeitswerte, formt Eingabetensoren in mehrere Köpfe um und kombiniert Aufmerksamkeitsausgaben aller Köpfe. Vorwärtsmethode