Adrian Cockcroft, ehemaliger Vizepräsident von Amazon, verbreitete die Nachricht auf Twitter und sagte, dass nach dem Wechsel des AWS-Komprimierungsalgorithmus von gzip zu zstd eine enorme Menge an Speicher eingespart, der komprimierte S3-Speicher um etwa 30 % reduziert und der Speicherplatz eingespart wurde kann die EB-Skala erreichen (1 EB. = 1024 PB = 1024 * 1024 TB).
Ein Amazon-Mitarbeiter fügte der Erklärung hinzu, dass Amazon nicht die Art und Weise geändert habe, wie die von Kunden gespeicherten Daten komprimiert werden, sondern die Art und Weise, wie S3 selbst Servicedaten (hauptsächlich Protokolle) speichert – S3 selbst hat von gzip-Protokollen auf ztsd-Protokolle umgestellt, was Speicherkosten verursacht werden um 30 % reduziert.
Amazon hat jedoch keine Ankündigung bezüglich der Änderung der Komprimierungstechnologie herausgegeben.Aufmerksame Holmes-Internetbürger stellten fest, dass Amazon S3 Ende November 2021 eine Preissenkung von 31% hatte, was gerade der Reduzierung der Speicherkosten um 30% entspricht.
Über Zstd
Zstd (Zstandard) ist ein schneller verlustfreier Komprimierungsalgorithmus von Facebook, der hauptsächlich in Echtzeit-Komprimierungsszenarien auf zlib-Ebene verwendet wird und ein besseres Komprimierungsverhältnis aufweist.
Zstd kann auch stärkere Komprimierungsverhältnisse auf Kosten der Komprimierungsgeschwindigkeit bereitstellen, wobei das Verhältnis von Geschwindigkeit zu Komprimierungsverhältnis inkrementell konfigurierbar ist.
Zstd ist eine Komprimierungstechnologie mit hervorragender Leistung. Im Gegensatz zu Komprimierungsalgorithmen wie zlib , lz4 und xz sucht Zstd nach einer Lösung, die Komprimierungsleistung und Komprimierungsrate kombiniert. Zstd bietet auch einen speziellen Komprimierungsmodus "Wörterbuchkomprimierung" für kleine Daten, der das Generieren von Wörterbuchdateien im Trainingsmodus unterstützt, um das Komprimierungsverhältnis für kleine Datenpakete zu verbessern.
Das Folgende ist ein Leistungsvergleich gängiger Komprimierungsalgorithmen:
