hive 数据倾斜

造成hive表数据倾斜的原因归根结底是计算集的key值分布不均匀

而造成key值分布不均匀的原因有很多:

1.业务本身的特性

2.建表时考虑不周

3.某些sql语句本身就有数据倾斜

1)join时表较小且key集中,使得分发到某一个或几个reduce上的数据远高于平均值

2)大表与大表join,分桶的判断字段或空值过多,而这些控制都是由一个reduce处理的

3)groupby时维度过小,某值得数量过多,处理某值的reduce很耗时

4)conut distinct时某特殊值过多,处理比特殊值reduce耗时


解决方案:1)hive基础调优(参考我的博文:https://blog.csdn.net/wx740851326/article/details/80915867)

2)合理设计表结果,使得key值均匀分布

3)groupby时增加维度,使数据分散开

4)null值单独处理

猜你喜欢

转载自blog.csdn.net/wx740851326/article/details/80922418