Spark 调优:Shuffle调优

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_38750084/article/details/83187332
  1. buffer大小
  2. shuffle read拉取数据量的大小
  3. shuffle聚合内存的比例
  4. 拉取数据重试次数
  5. 重试间隔时间60s
  6. Spark Shuffle的种类
  7. HashShuffle 合并机制
  8. SortShuffle bypass机制 200次

猜你喜欢

转载自blog.csdn.net/weixin_38750084/article/details/83187332
今日推荐