Spark RDD简介

什么是RDD？

Resilient Distributed Dataset

• RDD是弹性分布式数据集

一种容错的并行数据结构

• RDD是一种数据抽象，只读的，分区记录集合

在此之上，提供了丰富的操作用来处理RDD

• RDD是Spark的基石，也是Spark的灵魂

Rdd是Spark最核心最精髓的部分，Spark将所有数据都抽象成RDD

RDD的五个特性

• A list of partitions

    1.一系列的分区信息。
    2.每一个分区都会被一个任务处理。   ---决定了并行度。
    3.创建RDD时，可以指定RDD的分区数，如果没有指定，采用默认值。默认值根据系统的核数决定

• A function for computing each split

    由一个函数计算每一个分片。RDD的计算以分片为单位。

• A list of dependencies on other RDDs

    1.RDD之间的依赖关系。
    2.RDD每一次转换都生成一个新的RDD，多个RDD之间有前后依赖关系。
    3.在某个分区数据丢失时，Spark可以通过这层依赖关系重新计算丢失的分区数据，而不是重头对RDD的所有分区数据进行计算。→容错性

• Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

    可选：
    1.Partitioner是RDD中的分区函数，数据按一定规则分配到指定的Reducer上去处理。
    2.两种分区；Hash Partitioner、RangePartitioner
    3.key-value的数据才有Partitioner，普通的数据Partitioner为None

• Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

    可选：
    1.一个列表，存储存取每个Partition的优先位置（preferred location）。
    2.对于一个HDFS文件来说，这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

创建RDD

• 基于parallelize创建

    RDD1 = [1, 2, 3, 4, 5]
    RDD2 = sc.parallelize(RDD1) #通过并行化创建RDD
    RDD2.count()  #查看RDD中元素的个数

• 基于外部数据源创建

    RDD1 = sc.textFile("file:///home/camel/Repos/spark/README.md")    #从本地文件创建RDD
    RDD1.count()   #会计算文本的行数

• 基于父RDD转换得来

    rdd2 = rdd1.xxx()