Hive分桶

目的

对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。

把表（或者分区）组织成桶（Bucket）有两个理由：

（1）获得更高的查询处理效率。

桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接（Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。

（2）使取样（sampling）更高效。

在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

原理

针对某一列进行桶的组织。
桶是通过对指定列进行哈希计算来实现的，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
通过哈希值将一个列名下的数据切分为一组桶，并使每个桶对应于该列名下的一个存储文件。

创建桶表

create table bucket_persion(
  id int,
  age int,
  name string
)
partitioned by (dt string)
clustered by (id) sorted by(age) into 4 buckets
row format delimited fields terminated by ',';

创建临时表

create table bucket_temp(
  id int,
  age int,
  name string
)
row format delimited fields terminated by ',';

导入临时表数据

load data local inpath "E:\hive\bucket_persion-2018-07-18.txt" into table bucket_temp;

设置环境变量

set hive.enforce.bucketing=true;

将临时表数据导入桶表

from bucket_temp insert overwrite table bucket_persion partition(dt='2018-07-18')
select id,age,name;

查询文件目录

hadoop fs -ls /user/hive/warehouse/bucket_persion/dt?2018-07-18

查询数据

# 100%
select * from bucket_persion tablesample(bucket 1 out of 1 on id);
# 50%
select * from bucket_persion tablesample(bucket 1 out of 2 on id);
# 50% 
select * from bucket_persion tablesample(50 PERCENT);

猜你喜欢