Wenn es um KI-Computing und Grafikkartenleistung geht, gibt es viele Parameterleistungslisten. Diese Listen sind allesamt Stapel von Parameterdaten. Was stellen sie dar? In diesem Artikel wurden allgemeine Parameterbeschreibungen zusammengestellt, damit jeder sie verstehen kann.
FP64
FP64 bezieht sich auf das Gleitkommaformat mit doppelter Genauigkeit, das 64 Bit (d. h. 8 Byte) Speicherplatz belegt und Werte im Bereich von ±1,189731491523451 × 10^-308 bis ±3,141592653589793 × 10^307 darstellen kann. In Bereichen wie wissenschaftlichem Rechnen und Computergrafik ist FP64 ein häufig verwendetes Gleitkommazahlenformat, das eine höhere Präzision und Rechenleistung bieten kann.
FP64-Tensorkern
FP64 Tensor Core ist ein von Tensor Cores unterstütztes Präzisionsformat, das Daten mit halber Genauigkeit (FP16) unterstützt, um die Matrixmultiplikation zu beschleunigen und die Ergebnisse mithilfe von Daten mit einfacher Genauigkeit (FP32) oder doppelter Genauigkeit (FP64) für eine höhere Genauigkeit korrigiert. In Tensor Core werden FP16-Daten in 4x4-Matrixblöcke unterteilt, und jeder Matrixblock kann mit einem anderen 4x4-Matrixblock multipliziert werden, um einen 4x4-FP32- oder FP64-Matrixblock zu erzeugen. Diese Berechnungsmethode mit gemischter Genauigkeit kann hochpräzise Berechnungsergebnisse beibehalten und gleichzeitig Deep-Learning-Modelle beschleunigen.
FP32
FP32 (Fließkomma mit einfacher Genauigkeit) ist ein digitales Format, das 32 Bit (d. h. 4 Byte) Speicherplatz belegt und Werte im Bereich von ±1,189731491523451 × 10^-38 bis ±3,4028234663852886 × 10^38 darstellen kann. FP32 ist in der Computergrafik, im wissenschaftlichen Rechnen und in vielen anderen Bereichen weit verbreitet, da es eine relativ hohe Präzision und Rechenleistung bieten kann. Im Bereich Deep Learning wird FP32 auch häufig in Trainings- und Inferenzprozessen eingesetzt, da es in der Lage ist, genügend Präzision bereitzustellen, um die Genauigkeit des Modells beizubehalten und dennoch eine relativ hohe Rechenleistung zu erzielen.
FP32-Tensorkern
FP32 Tensor Core ist ein Präzisionsformat, das von Tensor Cores unterstützt wird. Tensor Core erreicht den Effekt einer hochpräzisen Berechnung durch die Kombination von Eingabedaten mit niedriger Genauigkeit (z. B. FP16) mit hochpräzisen Daten (z. B. FP32 oder FP64). Insbesondere verwendet Tensor Core Daten mit halber Genauigkeit (FP16), um die Matrixmultiplikation zu beschleunigen, und Daten mit einfacher Genauigkeit (FP32) oder doppelter Genauigkeit (FP64), um die Ergebnisse für eine höhere Genauigkeit zu korrigieren. Diese Berechnungsmethode mit gemischter Genauigkeit kann hochpräzise Berechnungsergebnisse beibehalten und gleichzeitig Deep-Learning-Modelle beschleunigen.
bfloat 16 Tensorkern
BFloat16 Tensor Core ist eine Recheneinheit, die Berechnungen mit Gleitkommazahlen (BFloat16) mit niedriger Genauigkeit unterstützt und hauptsächlich in groß angelegten parallelen Rechenszenarien wie Deep Learning verwendet wird. Es kann Daten im BFloat16-Format für Berechnungsoperationen wie die Matrixmultiplikation verwenden und auch Daten in anderen Formaten (wie FP32) zur Korrektur empfangen, um Ergebnisse mit höherer Präzision zu erhalten.
Der Hauptvorteil von BFloat16 Tensor Core besteht darin, dass er eine schnellere Rechengeschwindigkeit und eine geringere Speichernutzung bieten kann. Da BFloat16 ein kürzeres Gleitkommaformat ist, können mehr Daten in derselben Recheneinheit gespeichert werden, wodurch die Rechendichte und -geschwindigkeit erhöht wird. Darüber hinaus kann die Verwendung von BFloat16 auch den Bedarf an Speicherbandbreite und Speicherplatz reduzieren und so die Recheneffizienz weiter verbessern.
Allerdings weist BFloat16 Tensor Core auch einige Mängel auf. Aufgrund der geringeren Präzision kann es in einigen Fällen zu Präzisionsverlusten oder Überlaufproblemen kommen. Darüber hinaus besteht bei Daten im BFloat16-Format das Risiko eines Genauigkeitsverlusts, wenn sie in andere Formate wie FP32 konvertiert werden.
BFloat16 Tensor Core ist eine Recheneinheit für groß angelegte parallele Rechenszenarien wie Deep Learning, die eine schnellere Rechengeschwindigkeit und eine geringere Speichernutzung bieten kann. Aufgrund der geringen Genauigkeit kann es jedoch zu Genauigkeitsverlusten oder Überlaufproblemen kommen. Daher müssen Sie bei der Verwendung auf Genauigkeitskontrolle und Überlaufprobleme achten.
FP16-Tensorkern
FP16 Tensor Core ist eine Recheneinheit, die Gleitkommazahlberechnungen mit halber Genauigkeit (FP16) unterstützt und hauptsächlich in groß angelegten parallelen Rechenszenarien wie Deep Learning verwendet wird. Es kann Daten im FP16-Format für Berechnungsoperationen wie die Matrixmultiplikation verwenden und auch Daten in anderen Formaten (wie FP32) zur Korrektur empfangen, um Ergebnisse mit höherer Präzision zu erhalten.
Der Hauptvorteil des FP16 Tensor Core besteht darin, dass er eine schnellere Rechengeschwindigkeit und eine geringere Speichernutzung bieten kann. Da es sich bei FP16 um ein kürzeres Gleitkommaformat handelt, können mehr Daten in derselben Recheneinheit gespeichert werden, wodurch die Rechendichte und -geschwindigkeit erhöht wird. Darüber hinaus kann der Einsatz von FP16 auch den Speicherbandbreiten- und Speicherplatzbedarf reduzieren und so die Recheneffizienz weiter verbessern.
Im Bereich Deep Learning wird FP16 Tensor Core häufig verwendet. Viele Deep-Learning-Frameworks und -Bibliotheken unterstützen die Verwendung von FP16 für Modelltraining und Inferenz, wie z. B. TensorFlow, PyTorch, MXNet usw. Die Verwendung von FP16 Tensor Core kann den Trainings- und Inferenzprozess von Deep-Learning-Modellen beschleunigen und gleichzeitig eine ausreichende Genauigkeit beibehalten, um den Anforderungen praktischer Anwendungen gerecht zu werden.
Es ist zu beachten, dass es bei der Verwendung von FP16 Tensor Core für Berechnungen aufgrund der Verringerung der Datengenauigkeit zu Genauigkeitsverlusten oder Überlaufproblemen kommen kann. Daher müssen Sie bei der Verwendung auf Präzisionskontrolle und Überlaufprobleme achten, z. B. die Verwendung von Normalisierungsmethoden zur Bewältigung von Bereichsbeschränkungen und Überlaufproblemen von Daten.
FP16 Tensor Core ist eine Recheneinheit für groß angelegte parallele Rechenszenarien wie Deep Learning, die eine schnellere Rechengeschwindigkeit und eine geringere Speichernutzung bieten kann. Bei der Verwendung muss auf Präzisionskontrolle und Überlaufprobleme geachtet werden, um die Genauigkeit und Stabilität der Berechnungen sicherzustellen.
FP16 und Bfloat16
FP16 (Gleitkomma mit halber Genauigkeit) und BFloat16 (vorzeichenbehaftete 8-Bit-Ganzzahl/Festkomma) sind beide Gleitkommaformate, es gibt jedoch einige Unterschiede zwischen ihnen.
FP16 ist ein Standard-16-Bit-Gleitkommaformat mit 5 Exponentenbits und 11 Mantissenbits. Dieses Format kann einen Exponentenbereich von etwa ±2^-15 mit hoher Genauigkeit darstellen. Im Bereich Deep Learning wird FP16 häufig in Trainings- und Inferenzprozessen eingesetzt, da es genügend Präzision bieten kann, um die Genauigkeit des Modells beizubehalten und dennoch eine relativ hohe Rechenleistung zu erzielen.
BFloat16 ist ein neueres Gleitkommaformat mit einem Vorzeichenbit, acht Exponentenbits und sieben Mantissenbits. Im Vergleich zu FP16 verfügt BFloat16 über einen größeren Dynamikbereich und kann einen größeren Exponentialbereich darstellen als FP16. Darüber hinaus kann BFloat16 Gradientendaten wie Gradienten direkt darstellen, ohne dass zusätzliche Skalierungsvorgänge erforderlich sind. Dieses Format reduziert die Datengröße im Speicher und ermöglicht, dass größere Modelle in die gleiche Speichermenge passen. Im Bereich Deep Learning wird BFloat16 auch häufig in Trainings- und Inferenzprozessen verwendet, da es einen größeren Dynamikbereich und einen geringeren Speicherbedarf als FP16 bieten kann.
Sowohl FP16 als auch BFloat16 sind darauf ausgelegt, die Anforderungen groß angelegter paralleler Datenverarbeitung wie Deep Learning zu erfüllen. Sie alle können eine relativ hohe Rechenleistung und ausreichende Genauigkeit bieten, um die Modellgenauigkeit aufrechtzuerhalten. Allerdings verfügt BFloat16 über einen größeren Dynamikbereich und einen geringeren Speicherbedarf und kann daher in manchen Situationen einen Vorteil gegenüber FP16 haben.
FP8-Tensorkern
FP8 Tensor Core ist ein neues Gleitkommaformat, das in H100 Tensor Core eingeführt wurde. Im Vergleich zu FP16/BF16 kann die Leistung um das Zweifache gesteigert werden und erreicht das Niveau von 4096 MAC/Zyklus. Die Entwurfsschaltung von FP8 kann bis zu einem gewissen Grad mit FP16 wiederverwendet werden, und die Konvertierungsschaltung zwischen FP8 und FP16/FP32/BF16 kann einfacher und direkter gestaltet werden, ohne den Mehraufwand für Multiplikation und Addition, der für die Konvertierung von INT8/ erforderlich ist. UINT8 zu FP. Daher kann FP8 das Verhalten von Hardware besser standardisieren als INT8. Hardware unterstützt die Quantisierung auf unterschiedliche Weise, z. B. durch Unterstützung der Skalierung pro Kanal, symmetrische oder asymmetrische Quantisierung usw. Die Unterstützung jeder Hardware ist unterschiedlich und das Verhalten ist schwer zu vereinheitlichen. Das Design von FP8 kann jedoch das Verhalten der Hardware bis zu einem gewissen Grad standardisieren und die Recheneffizienz verbessern.
Int8-Tensorkern
Int8 Tensor Core ist eine dedizierte Matrixoperationseinheit für groß angelegte parallele Rechenszenarien wie Deep Learning. Sie erschien erstmals in der Volta-Architektur-GPU und wurde in nachfolgenden Turing- und Ampere-Architekturen entwickelt. Int8 Tensor Core unterstützt das INT8-Datenformat, das zur Beschleunigung von Tensoroperationen in Deep-Learning-Workloads wie der Matrixmultiplikation verwendet werden kann. Es verfügt über ein Beschleunigungsverhältnis von mehr als dem 20-fachen, da es speziell für diesen Vorgang optimiert ist. Gleichzeitig unterstützt es die FP16- und INT8-Präzision, was durch die Verwendung unterschiedlicher Genauigkeiten Vorgänge beschleunigen und die Speichernutzung reduzieren kann. Die GPU-beschleunigten Versionen der Mainstream-Deep-Learning-Frameworks wurden tief in Tensor Core integriert und können dessen Leistungsvorteile automatisch nutzen, was den Entwicklungsprozess vereinfacht.
GPU-Speicher und Speicherbandbreite
GPU-Speicher und Speicherbandbreite sind Parameter, die eng mit der Leistung der Grafikprozessoreinheit (GPU) zusammenhängen. Hier finden Sie eine ausführliche Erklärung zu beiden:
-
GPU-Speicher:
Der Videospeicher ist der temporäre Speicherplatz, den die GPU bei der Verarbeitung von Grafikdaten verwendet. Es speichert hauptsächlich Daten, die für den Grafikrenderingprozess erforderlich sind, wie Texturen, Farbpuffer usw. Die Videospeicherkapazität bestimmt die Datenmenge, die die GPU vorübergehend speichern kann. Ein Videospeicher mit großer Kapazität kann die Anzahl der Datenlesevorgänge reduzieren und die Latenz verringern, wodurch die Rendering-Effizienz verbessert wird.
Die Bitbreite des Videospeichers ist ebenfalls ein wichtiger Parameter des Videospeichers. Dies ist die Anzahl der Datenbits, die das Display in einem Taktzyklus übertragen kann. Je größer die Anzahl der Bits, desto größer die Datenmenge, die sofort übertragen werden kann. Die Bitbreite des Videospeichers setzt sich aus der Bitbreite der Videospeicherpartikel zusammen, die zusammen mit der Videospeicherfrequenz die Größe der Videospeicherbandbreite bestimmt.
-
Videospeicherbandbreite:
Die Videospeicherbandbreite bezieht sich auf die Datenübertragungsrate zwischen dem Anzeigechip und dem Videospeicher in Bytes/Sekunde. Sie wird durch die Speicherfrequenz und die Speicherbitbreite bestimmt. Die Berechnungsformel lautet: Videospeicherbandbreite = Videospeicherfrequenz × Videospeicher-Bitbreite/8. Daher kann eine Erhöhung der Speicherbandbreite die GPU-Leistung erheblich verbessern.
Für einen Videospeicher mit einer Bitbreite von 256 Bit und einer Frequenz von 1,5 GHz beträgt die Bandbreite beispielsweise 256 x 1,5 GB/s = 384 GB/s. Wenn die Frequenz auf 2,0 GHz erhöht wird, erhöht sich die Bandbreite auf 512 GB/s, was dem 1,3-fachen des Originals entspricht. Es ist ersichtlich, dass die Erhöhung der Speicherbandbreite für die Verbesserung der GPU-Leistung sehr wichtig ist.
GPU-Speicher und Speicherbandbreite sind komplementäre Parameter. Zusammen bestimmen sie die Leistung und Rendering-Effizienz der GPU. Bei der Auswahl einer GPU müssen Sie diese Parameter sowie andere Faktoren wie den Kerncodenamen und die Kernfrequenz berücksichtigen, um die GPU auszuwählen, die Ihren Anforderungen am besten entspricht.