06_Hive分桶机制及其作用

  对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。

Hive也是针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在

哪个桶当中。

  把表(或者分区)组织成桶(Bucket)有两个理由:

  (1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体

而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的

实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同

列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。

  (2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一

小部分数据上试运行查询,会带来很多方便。

1.创建带桶的表

 

 

 

 

 

 

 

 

 

 

 

猜你喜欢

转载自www.cnblogs.com/yaboya/p/9283969.html