spark数据倾斜处理

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wangfenghui132/article/details/91494070

1、在没有groupby reduceby的情况下,可以将原始数据repartition()一下,增加task的数量。

2、如果存在groupby reduceby的情况,如果只是统计key的数量,可以在key前面加上随机数,将key再细化,可以明显提高处理速度。

3、如果存在groupby的情况,要统计某个key的所有数据,可以使用hive先进行预处理,下下策做数据过滤。其他暂时好像还没好的方法。

猜你喜欢

转载自blog.csdn.net/wangfenghui132/article/details/91494070