【Hive】四种排序方式

Hive中4种排序的区别
共有四种排序:order by,sort by ,distribute by,cluster by

order by
全局排序;
对输入的数据做排序,故此只有一个reducer(多个reducer无法保证全局有序);
只有一个reducer,会导致当输入规模较大时,需要较长的计算时间;

sort by
非全局排序;
在数据进入reducer前完成排序;
当mapred.reduce.tasks>1时,只能保证每个reducer的输出有序,不保证全局有序;

distribute by
按照指定的字段对数据进行划分输出到不同的reduce中;
常和sort by一起使用,并且distribute by必须在sort by前面;

cluster by
相当于distribute by+sort by,只能默认升序,不能使用倒序;

发布了109 篇原创文章 · 获赞 125 · 访问量 6293

猜你喜欢

转载自blog.csdn.net/beautiful_huang/article/details/104476909