spark - RDD梳理

1.RDD是什么?

RDD源码中的五个特性:弹性的,分布式的,不可变的,支持并行化操作,可以分区的数据集

五个主要属性:

  • 1个rdd可以有多个partition
  • 如果对1个rdd作用于一个function,其实是对里面的每个split做function,1个split就是一个partition
  • rdd间是有一系列依赖的,例如:

  • (可选)对于(groupbykey)有一个Hashpartition对应于key-value类型的rdd,sortbykey对应一个range-partitioned
  • (可选)每个split都有一个优先推荐的locations list (注意这里是复数,why?)

2.RDD的创建方式:

  • 从已存在的集合创建,sc.parallize(集合对象,分区数)
  • 基于文件创建(本地,hdfs,s3上的文件),如果是本地文件,分布式环境执行的时候,要保证每个机器上都有这个文件

 3.spark读写文件api:

sc.textFile

sc.sequenceFile

sc.wholeTextFiles

sc.newAPIHadoop

sc.newAPIHadoopRDD

sc.hadoopRDD

rdd.saveAsObjectFile

4.RDD的基本操作

转换,action等

猜你喜欢

转载自coderlxl201209164551.iteye.com/blog/2413574