Hive 中四个BY比较
一、Order By
Order By:全局排序。只有一个 Reducer,无论将reducer设置为几,实际都只有一个。
- 效率较低。
- 有ASC(ascend): 升序(默认) DESC(descend): 降序两种排序方式。
- ORDER BY 子句在SELECT 语句的结尾
例: select * from emp order by sal desc;
二、Sort By
Sort By:分区排序,即每个 Reduce 内部排序。对于大规模的数据集 order by 的效率非常低。在很多情况下,并不需要全局排 序,此时可以使用 sort by。
Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序,对全局结果集 来说不是排序。
单独使用sort by时随机划分数据所在区,往往和distribute by联用。
例:
1)设置 reduce 个数
set mapreduce.job.reduces=3;
2)查看设置 reduce 个数
set mapreduce.job.reduces;
3)根据部门编号降序查看员工信息
select * from emp sort by deptno desc;
三、 Distribute By
Distribute By:分区操作。 在有些情况下,为 了进行后续的聚集操作,我们需要控制某个特定行应该到哪个 reducer。distribute by 类似 MR 中 partition(自定义分区),进行分区,结合 sort by 使用。
例:先按照部门编号分区,再按照员工编号降序排序。
set mapreduce.job.reduces=3;
select * from emp distribute by deptno sort by empno desc;
注意:
➢ distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后, 余数相同的分到一个区。
➢ Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。
四、 Cluster By
当 distribute by 和 sorts by 字段相同时,可以使用 cluster by 方式。cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。
注意:排序只能是升序 排序,不能指定排序规则为 ASC 或者 DESC。
例:
select * from emp distribute by deptno sort by deptno;
可写作:
select * from emp cluster by deptno;