序文
このノートは主にハイブのバケットクエリとサンプリングクエリに関する知識を記録します。
文章
まずバケットテーブルを作成し、id 値に従ってデータを 8 つのバケットに分割します。
create table if not exists t(
id int,
name string,
age int
)
clustered by (id) into 8 buckets
row format delimited fields terminated by ' '
lines terminated by '\n' stored as textfile;
関連するルールを予備的に理解できるように、まずバケット クエリのステートメント形式を紹介します。
x:どのバケットからデータのフェッチを開始しますか?
y: フェッチされるデータのバケットの数は、y と定義されたバケットの数から推定できます。バケット番号導出ルール:バケット番号 = 定義された n バケット/y および y は、定義されたバケット番号 n の倍数または因数のみにすることができます。注: ここでの x は、その後にバケット化フィールドが続く場合、
y より大きくすることはできません。
select * from 表名 tablesample(bucket x out of y on 分桶字段);
-- x：从第几桶开始取数据
-- y：可以通过y和定义的分桶数推导出此次需要取的数据的桶数。桶数推导规则：桶数=定义的n桶/y 而y只能是定义的桶数n的倍数或者因子。
-- 注意：这里的x不能大于y
-- on后面跟分桶字段。
バケットクエリの例:
select * from cq01 tablesample(bucket 1 out of 4 on id);
-- 这里的x=1，y=4。
-- 由上述的语句格式介绍可以用y推导出,此次取的桶数为8/4=2桶。从x开始取，那么就是从第1桶开始取，然后取第1+y=5。即此次取第一和第五桶的数据。
select * from cq01 tablesample(bucket 1 out of 8 on id);
-- 这里的x=1，y=8。
-- 由上述的语句格式介绍可以用y推导出,此次取的桶数为8/8=8桶。从x开始取，那么就是从第1桶开始取，然后取第1桶的数据。即此次取第一桶的数据。
select * from cq01 tablesample(bucket 2 out of 16 on id);
-- 这里的x=2，y=16。
-- 由上述的语句格式介绍可以用y推导出,此次取的桶数为8/16=1/2桶。从x开始取，那么就是从第2桶开始取，然后取第2桶的1/2的数据。即此次取第一桶的前1/2数据。
サンプルクエリ
ここでのサンプリング クエリについては、対応する構文を理解しておくだけで済みます。次に、一般的に使用されるサンプリング クエリの記述方法の例をいくつか示します。
select * from cq01 tablesample(bucket 1 out of 4 on id);
select * from cq01 tablesample(bucket 1 out of 4 on id) where name = 'xx';
select * from cq01 tablesample(3 rows); -- 行数
select * from cq01 tablesample(30 percent); -- 数量的百分比
select * from cq01 tablesample(6B); -- B K M G T P 具体数量
select * from cq01 tablesample(bucket 1 out of 4 on rand()); -- rand()随机抽样
select * from cq01 order by rand() limit 3;-- 随机抽3行数据
要約する
上記はバケット クエリとバケット サンプリング クエリに関するナレッジ ポイントの概要です。何か理解できない場合は、コメント エリアで共有できます。