这里只是在单机上对18M的数据进行测试
数据下载地址:https://pan.baidu.com/s/12keSnetSRkSxdQFxxcnRGg
- 准备数据
load data local inpath '/home/hadoop/data/hive-test-data/page_views.dat' overwrite into table page_views;
- 测试对比
| 压缩格式 | 数据压缩前 | 压缩后 | 压缩时间 | 设置 |
|---|---|---|---|---|
| Default(默认压缩) | 18.1M | 5.3M | 5550897 | set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec; |
| Snappy | 18…2M | 8.4M | 8813825 | set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec; |
| Lz4 | 18.1M | 8.3M | 8747489 | set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.Lz4Codec; |
| bzip2 | 18.1M | 3.6M | 3814771 | set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.BZip2Codec; |
| Lzo | 18.1M | |||
| gzip | 18.1M |