RDD五大特性

1）A list of partitions
RDD由很多partition构成(block块对应partition)，在spark中，计算式，有多少partition就对应有多少个task来执行。
默认一个块block对应一个split,split的大小和block大小一致。
2）A function for computing each split
对RDD做计算，相当于对RDD的每个split或partition做计算
3）A list of dependencies on other RDDs
RDD之间有依赖关系，可溯源，容错机制
4）Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，比如可以按key的hash值分区。
5）Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
最优的位置去计算，也就是数据的本地性，移动计算而不是移动数据。
计算每个split时，在split所在机器的本地上运行task是最好的，避免了数据的移动；split有多个副本，所以preferred location不止一个。数据在哪里，应优先把作业调度到数据所在机器上，减少数据的IO和网络传输，这样才能更好地减少作业运行时间（木桶原理：作业运行时间取决于运行最慢的task所需的时间），提高性能。