弹性分布式数据集 RDD(只读，可分区) 这个数据集的部分或者全部可以缓存在内存中。
所谓弹性，是指内存不够时可以与磁盘进行交换。
RDD 作为数据结构，本质上是一个只读的分区记录集合。一个rdd可以包含多个分区，每个分区就是一个数据集片段。
宽依赖和窄依赖的区别：narrow dependecies 可以支持同一个cluster node 还是哪个以pipeline形式执行多条命令，如执行了map后可以继续filter，在失败恢复的时候只需要重新计算丢失的parent partition即可，而且可以并行的在不同的节点进行重计算。而shuffle dependencies 需要所有的父分区都可用，在失败恢复的时候牵涉个各级的多个parent partitions。
rdd的操作如上图两种，转换和动作。
rdd的四个核心方法：1 getPartitions 返回的是一系列partitions的集合，即一个partition类型的数组。
2 getDependencies 返回的是依赖关系的一个Seq集合，里面的Dependency数组中的下划线是类型的PlaceHolder（占位符）。
3 Compute 是针对RDD的每个partition进行计算的
4 getPreferredLocations是寻找partition的首选位置
通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合上创建的（一个Seq对象）。集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。
spark-shell运行在集群上的方法
下面小部分引用 https://blog.csdn.net/legotime/article/details/51871724 推荐看原文 特别不错 但有个别分区问题有待验证
外部读取参数textFile
/**
* Read a text file from HDFS, a local file system (available on all nodes), or any
* Hadoop-supported file system URI, and return it as an RDD of Strings.
*/
def textFile(
path: String,
minPartitions: Int = defaultMinPartitions): RDD[String] = withScope {
assertNotStopped()
hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text],
minPartitions).map(pair => pair._2.toString).setName(path)
}
分析参数：
path: String 是一个URI，這个URI可以是HDFS、本地文件（全部的节点都可以），或者其他Hadoop支持的文件系统URI返回的是一个字符串类型的RDD，也就是是RDD的内部形式是Iterator[(String)]
minPartitions= math.min(defaultParallelism, 2) 是指定数据的分区，如果不指定分区，当你的核数大于2的时候，不指定分区数那么就是 2
当你的数据大于128M时候，Spark是为每一个块（block）创建一个分片（Hadoop-2.X之后为128m一个block）
从本地系统读取整个文件夹
val path = "file:///usr/local/spark/spark-1.6.0-bin-hadoop2.6/licenses/" //local file
val rdd1 = sc.textFile(path,2)
从本地系统中读取licenses这个文件夹下的所有文件
這里特别注意的是，比如這个文件夹下有35个文件，上面分区数设置是2，那么整个RDD的分区数是35*2？
這是错误的，這个RDD的分区数不管你的partition数设置为多少时，只要license這个文件夹下的這个文件a.txt
(比如有a.txt)没有超过128m，那么a.txt就只有一个partition。那么就是说只要这35个文件其中没有一个超过
128m，那么分区数就是 35个
对spark输出结果进行排序（广告点击与商品排名）
def sortByKey(ascending: Boolean = true, numPartitions: Int = self.partitions.length) : RDD[(K, V)] = self.withScope
{
val part = new RangePartitioner(numPartitions, self, ascending)
new ShuffledRDD[K, V, V](self, part)
.setKeyOrdering(if (ascending) ordering else ordering.reverse)
}
union操作：
结果
groupByKey ：
结果：
join操作实际上就是一个笛卡尔积的操作
下面介绍Action操作：
reduce
lookup的使用：
结果：
rdd.toDebugString 可以查看lineage关系
