一.hive 分桶概述
分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。 对于 hive 中每一个表、分区都可以进一步进行分桶。 由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。
适用场景：
对比 MR 的 HashPartition 数据抽样（ sampling ）
二.开启支持分桶
set hive.enforce.bucketing=true;
默认：false；设置为 true 之后，mr 运行时会根据 bucket 的个数自动分配 reduce task 个数。（用户也可以通过 mapred.reduce.tasks 自己设置 reduce 任务个数，但 分桶时不推荐使用）
注意：一次作业产生的桶（文件数量）和 reduce task 个数一致。
三.分桶操作
3.1.往分桶表中加载数据
insert into table bucket_table select columns from tbl;
insert overwrite table bucket_table select columns from tbl;
3.2.桶表 抽样查询
select * from bucket_table tablesample(bucket 1 out of 4 on columns);
TABLESAMPLE 语法：
TABLESAMPLE(BUCKET x OUT OF y)
x：表示从哪个 bucket 开始抽取数据
y：必须为该表总 bucket 数的倍数或因子
当表总 bucket 数为 32 时
举例说明：
TABLESAMPLE(BUCKET 3 OUT OF 16)，抽取哪些数据？ 共抽取 2（32/16）个 bucket 的数据，抽取第 3、第 19（16+3）个 bucket 的数据
TABLESAMPLE(BUCKET 3 OUT OF 8)，抽取哪些数据？ 共抽取 4（32/8）个 bucket 的数据，抽取：3，11,19,27
TABLESAMPLE(BUCKET 3 OUT OF 256)，抽取哪些数据？ 共抽取 1/8（32/256）个 bucket 的数据，抽取第 3 个 bucket 的 1/8 数据
四.实操案例
例：
hive> create table psn31(
> id int,
> name string,
> age int)
> row format delimited fields terminated by ',';
OK
Time taken: 0.388 seconds
测试数据
扫描二维码关注公众号，回复：
15709196 查看本文章
1,tom,11
2,cat,22
3,dog,33
4,hive,44
5,hbase,55
6,mr,66
7,alice,77
8,scala,88
加载原始数据
hive> load data local inpath '/root/bucket' into table psn31;
创建分桶表
hive> create table psnbucket(
> id int,
> name string,
> age int)
> clustered by (age) into 4 buckets
> row format delimited
> fields terminated by ',';
OK
Time taken: 0.138 seconds
莫忘记开启分桶支持：
set hive.enforce.bucketing=true;
从源数据表向分桶表中添加数据：
insert into table psnbucket select id, name, age from psn31;
抽样
hive> select id,name,age from psnbucket tablesample(bucket 2 out of 4 on age);
OK
id name age
7 alice 77
3 dog 33
Time taken: 0.937 seconds, Fetched: 2 row(s)
hive> select id,name,age from psnbucket tablesample(bucket 1 out of 4 on age);
OK
id name age
8 scala 88
4 hive 44
Time taken: 0.226 seconds, Fetched: 2 row(s)
[root@node4 data]# hdfs dfs -cat /user/hive_remote/warehouse/psnbucket/000001_0;
21/11/11 16:27:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7,alice,77
3,dog,33
总结：
分区是分目录存储分桶是将表中的数据分文件存储