总结一下spark的调优方案：
一、性能调优
1、性能上的调优主要注重一下几点：
Excutor的数量
每个Excutor所分配的CPU的数量
每个Excutor所能分配的内存量
Driver端分配的内存数量
2、如何分配资源
在生产环境中，提交spark作业的时候，使用的是spark-submit shell脚本，里面调整对应的参数。
./bin/spark-submit \ --class com.spark.sparkTest.WordCount \ --num-executors 3 \ #此处配置的是executor的数量 --driver-memory 100m \ #此处配置的是driver的内存（影响不大） --executor-memory 100m \ #配置每个executor的内存大小 --total-executor-core 3 \ #配置所有executor的cpu core 数量 /usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
如何调节呢？？
常用的资源调度模式有两种Spark Standalone 和 Spark on Yarn 。比如说你的每台机器能够给你使用60G内存，10个core，20台机器。那么executor的数量是20个。平均每个executor所能分配60G内存和10个CPU core。
以上面为计算原则：
增加executor：
如果executor比较少的话，那么能够并行执行的task的数量就很少，就意味着，我们的Application的并行执行的能力就很弱。
如果有3个executor，每个executor有2个core，那么同时就能够执行6个task。
增加了executor之后，意味着能够并行更多的task。所以速度也就比以前提升了数倍。
增加每个executor的cpu core:
增加了执行的并行能力，原来有3个executor，每个有2个core，现在有每个executor有4个core。那么现在的并行task数量是12，相比以前的6，从物理性能上看提升了2倍。
增加每个executor的内存大小：
增加内存后主要提升了一下三点：
1、若是RDD进行了cache，那么有了更多的内存，就可以缓存更多的数据，写入磁盘的数据就少了，甚至是可以不用写入磁盘了，就减少的磁盘IO，写入速度明显加快。
2、对于shuffle操作，reduce端，会需要内存来存放拉取的数据进行聚合，如果内存不够，也会写入磁盘，如果分配更多的内存之后，一样会减少磁盘IO，提升性能。
3、对于task的执行，会创建很多的对象，如果内存过小的话，JVM堆内存满了之后，会频繁的进行GC操作，垃圾回收等。速度会非常慢，加大内存之后就避免了这些问题。
调节并行度：
并行度是指spark作业中，各个stage的task的数量。代表了spark作业的各个阶段的并行度。
若是不调节的话会浪费你的资源：
比如现在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor有10G内存，每个executor有3个cpu core。
基本已经达到了集群或者yarn队列的资源上限。task没有设置，或者设置的很少，比如就设置了100个task，你的Application任何一个stage运行的时候，都有总数在150个cpu core，可以并行运行。但是你现在，只有100个task，平均分配一下，每个executor分配到2个task，ok，那么同时在运行的task，只有100个，每个executor只会并行运行2个task。每个executor剩下的一个cpu core， 就浪费掉了。
你的资源虽然分配足够了，但是问题是，并行度没有与资源相匹配，导致你分配下去的资源都浪费掉了。
合理的并行度的设置，应该是要设置的足够大，大到可以完全合理的利用你的集群资源。比如上面的例子，总共集群有150个cpu core，可以并行运行150个task。那么就应该将你的Application的并行度，至少设置成150，才能完全有效的利用你的集群资源，让150个task，并行执行。而且task增加到150个以后，即可以同时并行运行，还可以让每个task要处理的数据量变少。比如总共150G的数据要处理，如果是100个task，每个task计算1.5G的数据，现在增加到150个task，可以并行运行，而且每个task主要处理1G的数据就可以。
很简单的道理，只要合理设置并行度，就可以完全充分利用你的集群计算资源，并且减少每个task要处理的数据量，最终，就是提升你的整个Spark作业的性能和运行速度。
如何调配：
1、task的数量，至少设置成spark application的总cpu core数量相同。
2、官方推荐，task的数量设置成spark application总cpu core 的2~3倍。
3、具体为设置spark.default.parallelism
SparkConf conf = new SparkConf().set("spark.default.parallelism", "500")
-----------------------------先写这么多，以后更新---------------------------------------------------------------------------------------