spark学习之RDD

学习Spark首先学到就是spark中数据核心抽象----RDD.

Spark中的RDD是一个不可变分布式对象集合。每个RDD都被分为多个分区运行在集群的不同节点上。

1. 创建RDD

（1） 读取一个外部数据集

textFile()函数将一个文本文件读入为一个存储字符串的RDD。

（2） 读取在驱动器程序里分发驱动器程序中的对象集合。

parallerlize()函数

2. RDD转化操作（transformation）：由一个RDD生成一个新的RDD。

例子：filter()函数,map()函数

转化操作可以操作任意数量的RDD。例如：union(),可以操作两个RDD，合并为一个RDD。

3. RDD行动操作（action）：对RDD计算出一个结果。

例子：first()函数，count()函数