AWS 压缩算法从 gzip 切换到 zstd,节约 30% 存储空间

亚马逊前副总裁 Adrian cockcroft 在推特上爆料,称 AWS 的压缩算法从 gzip 切换到 zstd 后,节省了海量内存,压缩后的 S3 存储减少了大约 30% ,节省的空间可达 EB 规模(1 EB = 1024 PB = 1024 * 1024 TB)。

有亚马逊员工对该发言进行了补充,称亚马逊改变的不是客户存储的数据的压缩方式,而是 S3 自身存储服务数据(主要是日志)的方式 —— S3 自身从 gzip 日志切换到 ztsd 日志,使得存储成本降低 30% 。

但亚马逊并没有发布变更压缩技术相关的公告,有细心的福尔摩斯网友发现了亚马逊 S3 在 2021 年 11 月末曾有过一次降价 31% 的操作,与降低的 30% 存储成本刚好可以对应上。

关于 Zstd

Zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。

Zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩率的比重可通过增量进行配置。

Zstd 是一项性能优秀的压缩技术, zlib、lz4、xz 等压缩算法不同,Zstd 寻求的是压缩性能与压缩率通吃的方案。Zstd 还为小数据提供了一种特殊的压缩模式“字典压缩”,支持以训练方式生成字典文件,以提高对小数据包的压缩率。

以下是常见的压缩算法性能对比:

猜你喜欢

转载自www.oschina.net/news/207430/aws-from-gzip-to-zstd