Hive学习笔记(14)- Hive数据压缩

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/86535129

1 Hive 数据压缩

1.1 编译 Hadoop 2.x

  1. 安装 sanppy
  2. 编译 hadoop 2.x 源码
    mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy

2 常见的数据压缩技术

  • 压缩格式 :bzip2,gzip,lzo,snappy
  • 压缩比: bzip2 > gzip > lzo;(bzip2 最节省存储空间)
  • 解压速度: lzo > gzip > bzip2

猜你喜欢

转载自blog.csdn.net/u012292754/article/details/86535129