Spark性能优化第二季
1、Task性能优化
2、数据倾斜性能优化
3、网络性能优化
一、Task性能优化
1、慢任务的性能优化：可以考虑每个Partition处理的数据量，同时建议开启spark.speculation，开启任务推测，在任务还没有完成的情况下开启相同的任务，谁先执行完就执行它。
2、尽量减少Shuffle，例如我们要尽量减少groupByKey的操作，因为groupByKey会要求通过网络拷贝（Shuffle）所有的数据，优先考虑使用reduceByKey，因为reduceByKey会首先reduce locally，再例如在进行join操作的时候，形如（K1，V1）和（K1，V2）=>（K1，V3）此时就可以再进行pipeline，但是（o1） join （o2）=> （o3），此时会产生Shuffle操作；
3、Repartition：增加Task数量的时候可以考虑使用，从而更加充分使用计算资源；
Coalesce：整理Partition碎片；
二、数据倾斜
1、定义更加合理的Key（或者说自定义Partitioner）；
2、可以考虑使用ByteBuffer来存储Block，最大的存储数据为2G，如果超过这个大小会报异常；
三、网络
1、可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性，减少网络的Shuffle；
2、优先采用Netty的方式进行网络通信
3、广播：例如进行Join操作的时候采用Broadcast可以达到完全的数据本地性的情况下进行Join操作
4、mapPartitions中的函数会直接作用于整个Partition（一次！）
5、最优先考虑是PROCESS_LOCAL（spark默认情况下这样做），所以更应该考虑使用Tachyon；
6、如果要访问HBase或者Canssandra，务必保证数据处理发生在数据所在的机器上。