HDFS文件压缩工具,支持各种压缩格式

工具文档

https://github.com/mullerhai/HsunTzu/blob/master/README.md

核心方法调用

将textfile文件类型 压缩成 gz文件类型

hadoop jar /data/soft/HsunTzu/HsunTzuPro-beat-2.0.jar "${COMPRESS_HDFS_PATH}" "/" "1" "/data/soft/HsunTzu/info.properties" "2" "0"

使用效果

压缩前

在这里插入图片描述

压缩中

在这里插入图片描述

压缩后

在这里插入图片描述

参照Github Very Fast Hdfs Origin File To Compress Decompress Untar Tarball

发布了53 篇原创文章 · 获赞 50 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/xw514124202/article/details/102744277