hive map端聚合

set hive.map.aggr=false;
set hive.optimize.skewjoin=true;
set hive.exec.reducers.max=100;

设置了这个几个参数后。  是可以正常跑完的。   

set hive.map.aggr.hash.min.reduction=0.5;设置这个不禁止mapagg的话,也是会挂掉。

-------------------------------
其他
hive.map.aggr=true;在map中会做部分聚集操作,效率更高但需要更多的内存。
hive.groupby.mapaggr.checkinterval:在Map端进行聚合操作的条目数目

http://dacoolbaby.iteye.com/blog/1984327

猜你喜欢

转载自sysutao.iteye.com/blog/2223738
今日推荐