-
(1)、数据倾斜的现象
-
多数task执行速度较快,少数task执行时间非常长,或者等待很长时间后提示你内存不足,执行失败。
-
-
(2)、数据倾斜的原因
-
数据问题
-
1、key本身分布不均衡(包括大量的key为空)
-
2、key的设置不合理
-
-
spark使用问题
-
1、shuffle时的并发度不够
-
2、计算方式有误
-
-
-
(3)、数据倾斜的后果
-
1、spark中的stage的执行时间受限于最后那个执行完成的task,因此运行缓慢的任务会拖垮整个程序的运行速度(分布式程序运行的速度是由最慢的那个task决定的)。
-
2、过多的数据在同一个task中运行,将会把executor撑爆。
-
spark中的数据倾斜的现象、原因、后果
猜你喜欢
转载自blog.csdn.net/Sunshine_2211468152/article/details/83050343
今日推荐
周排行