Spark Shuffle概述
1. Spark 提供了两种Shuffle方式 hash-based和sort based。可以通过spark.shuffle.manager参数指定。在Spark1.2中，将shuffle的默认实现设置为了sort based
对于hash based shuffle，
- Spark使用类似HashMap的数据结构来对 shuffle 来的数据进行 aggregate(相同的K，通过Map来aggregate)
- 不会对数据进行提前排序。如果用户需要经过排序的数据，那么需要自己调用类似 sortByKey() 的操作
对于sort based shuffle
- sort based shuffle会对数据进行排序
对于hash based shuffle和sort based shuffle，除了是否排序上的差异之外，还有就是map端产生的文件个数。
hash based shuffle的主要问题就是产生的文件数太多。
2. 在 Spark 中，没有像Hadoop Shuffle那样明确的阶段，只有不同的 stage 和一系列的 transformation()，所以 spill, merge, aggregate 等操作需要蕴含在 transformation() 中。
3. Spark Shuffle可以分为两个阶段，Shuffle Write和Shuffle Read。map 端划分数据、持久化数据的过程称为 shuffle write，而将 reducer 读入数据、aggregate 数据的过程称为 shuffle read
4. Shuffle Write的任务
4.1 在ShuffleMapTask中对finalRDD产出的数据进行写操作。写操作会写到磁盘(而不是存放到内存中)，一方面节省内存空间，另一方面也是为了容错。这就解释了相对于内存而言，很大量的数据做shuffle的时候，不会出现内存不够的情况。
4.2 每个Partition处理完(即ShuffleMapTask执行完），需要告知MapOutputTrackerMaster它产出的数据存放在那里，以供Reducer消费。
4.3 不同的RDD算子，比如reduceByKey，会使用Map端的combine操作，将数据进行提前combine；而有些算子，如groupByKey，则不使用Map的combine操作。
4.4 对于hash based shuffle，shuffle产生的分区数据不排序，而对于sort based shuffle则会对分区数据进行排序
5. Shuffle Read的任务
5.1从MapOutputTrackerMaster上获取属于它处理的Map输出的数据，这里可能涉及fetch remote
5.2 获取到所有的Map产出的数据后，会做一个总aggregate？