Spark RDD的概念

Resilient Distributed Dataset ：弹性分布式数据集
五大特性：
1，A list of partitions
   是由一系列一片连续的数据组成的；
   一个partitions只能是在一个节点上；
   一个节点可以有多个partitions；
   每个partitions的数据是不一样的；
2，A function for computing each split
   一般情况下，一个partitions对应一个split（block size）
   也就是说一个partitions会对应function，说明并行计算
3，A list of dependencies on other RDDs
   一个RDD是依赖之前的RDD，这样做主要是为了容错，重新计算
4，Optionally, a Partitioner for key-value RDDs
   可以重新分配partitions
5，Optionally, a list of preferred locations to compute each split on
   最好的情况是这一系列partitions是基于本地的，这样就会对应的一个本地的计算