Hive表的数据压缩、存储及Hive的序列化

一、数据的压缩

1、数据的压缩说明

（1）压缩模式评价

• 可使用以下三种标准对压缩方式进行评价

  • 1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好；

  • 2、压缩时间：越快越好；

  • 3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化；

（2）常见压缩格式

压缩方式	压缩比	压缩速度	解压缩速度	是否可分割
gzip	13.4%	21 MB/s	118 MB/s	否
bzip2	13.2%	2.4MB/s	9.5MB/s	是
lzo	20.5%	135 MB/s	410 MB/s	是
snappy	22.2%	172 MB/s	409 MB/s	否

通常选择lzo或snappy压缩方式。

2、压缩配置参数

要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml和core-site.xml文件中）：

参数	默认值	阶段	建议
io.compression.codecs （在core-site.xml中配置）	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.Lz4Codec	输入压缩	Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress	false	mapper输出	这个参数设为true启用压缩
mapreduce.map.output.compress.codec	org.apache.hadoop.io.compress.DefaultCodec	mapper输出	使用LZO、LZ4或snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress	false	reducer输出	这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec	org.apache.hadoop.io.compress. DefaultCodec	reducer输出	使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.type	RECORD	reducer输出	SequenceFile输出使用的压缩类型：NONE和BLOCK

3、开启Map输出阶段压缩

1）开启hive中间传输数据压缩功能
hive (default)>set hive.exec.compress.intermediate=true;

2）开启mapreduce中map输出压缩功能
hive (default)>set mapreduce.map.output.compress=true;

3）设置mapreduce中map输出数据的压缩方式
hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

4）执行查询语句
   select count(1) from score;

4、 开启Reduce输出阶段压缩

当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能。可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

1）开启hive最终输出数据压缩功能
hive (default)>set hive.exec.compress.output=true;

2）开启mapreduce最终输出数据压缩
hive (default)>set mapreduce.output.fileoutputformat.compress=true;

3）设置mapreduce最终数据输出压缩方式
hive (default)> set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

4）设置mapreduce最终数据输出压缩为块压缩
hive (default)>set mapreduce.output.fileoutputformat.compress.type=BLOCK;

5）测试一下输出结果是否是压缩文件
insert overwrite local directory '/kkb/install/hivedatas/snappy' select * from score distribute by s_id sort by s_id desc;

二、Hive表的文件存储格式

Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。

1、列式存储和行式存储

上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。

行存储的特点： 查询满足条件的一整行数据的时候（全表查询），行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。select *   ； TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；

列存储的特点： 列存储需要去每个聚集的字段找到对应的每个列的值；因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 select 某些字段效率更高 ；ORC和PARQUET是基于列式存储的。

2 、TEXTFILE格式

默认格式，数据不做压缩，磁盘开销大，数据解析开销大。 hive不会对数据进行切分，从而无法对数据进行并行操作。

3 、ORC格式

Orc (Optimized Row Columnar)是hive 0.11版里引入的新的存储格式。

每个Orc文件由1个或多个stripe组成，每个stripe250MB大小（Stripe实际相当于RowGroup），不过大小由4MB->250MB，这样能提升顺序读的吞吐率。每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer：

一个orc文件可以分为若干个Stripe；

一个stripe可以分为三个部分；

• indexData：某些列的索引数据
• rowData :真正的数据存储
• StripFooter：stripe的元数据信息

1）Index Data：轻量级的index，默认是每隔1W行做一个索引。这里做的索引只是记录某行的各字段在Row Data中的offset。

2）Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个Stream来存储。

3）Stripe Footer：存的是各个stripe的元数据信息。

每个文件有一个File Footer，这里面存的是每个Stripe的行数，每个Column的数据类型信息等；

每个文件的尾部是一个PostScript，这里面记录了整个文件的压缩类型以及FileFooter的长度信息等。在读取文件时，会seek到文件尾部读PostScript，从里面解析到File Footer长度，再读FileFooter，从里面解析到各个Stripe信息，再读各个Stripe，即从后往前读。

4 、PARQUET格式

Parquet是面向分析型业务的列式存储格式；

Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

Parquet按照Block大小设置行组的大小存储数据；

三、存储和压缩结合

使用压缩的优势是可以最小化所需要的磁盘存储空间，以及减少磁盘和网络io操作；

ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩；

不指定压缩格式的就是默认的采用ZLIB压缩；

存储方式和压缩总结

• orc 默认的压缩方式ZLIB比Snappy压缩的还小。

• 在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。

• 由于snappy的压缩和解压缩 效率都比较高，压缩方式一般选择snappy。

四、hive的SerDe序列化

1、SerDe概念

Serde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化。最后实现把文件内容映射到 hive 表中的字段数据类型。

Hive 是如何读数据的流程：

• HDFS files –> InputFileFormat –> <key, value> –> Deserializer –> Row object（序列化）
• Row object –> Serializer –> <key, value> –> OutputFileFormat –> HDFS files（反序列化）

2、hive的SerDe 类型

Hive 中内置org.apache.hadoop.hive.serde2库，内部封装了很多不同的SerDe类型。

hive创建表时，通过自定义的SerDe或使用Hive内置的SerDe类型指定数据的序列化和反序列化方式。

创建表时使用row format 参数说明SerDe的类型。

使用用户自定义的Serde或者native Serde， 如果 ROW FORMAT没有指定或者指定了 ROW FORMAT DELIMITED就会使用native Serde。