详细参见官方文档：http://spark.apache.org/docs/2.1.0/configuration.html
1.spark.shuffle.consolidateFiles：是否开启shuffle block file的合并，默认为false （2.x废弃）
---->数据在进行shuffle的时候，如果没有开启这个参数，那么就会从每个节点上的每个task上取拉去数据，开启之后，会进行文件的合并，只需要去 每个cpu-core上面拉去就可以，大大降低IO不说，时间也会节省很多
2.spark.reducer.maxSizeInFlight：reduce task的拉取缓存，默认48m
---->每次拉取数据的缓存大小设定，这个是每个reduceTask都有的
3.spark.shuffle.file.buffer：map task的写磁盘缓存，默认32k
---->map端的bucket缓存，也可以适当调节，降低溢写到磁盘的次数就变少了
4.spark.shuffle.io.maxRetries：拉取失败的最大重试次数，默认3次
5.spark.shuffle.io.retryWait：拉取失败的重试间隔，默认5s
6.spark.shuffle.memoryFraction：用于reduce端聚合的内存比例，默认0.2，超过比例就会溢出到磁盘上
----->当拉取的数据两特别大的时候，可以适当设置为0.3 0.4 ，提高运行速度，减少数据频繁的溢写到磁盘，消耗时间
扫描二维码关注公众号，回复：
2950036 查看本文章
