一.Spark核心功能
二.Spark基本架构
三.RDD相关
图一
(1) application: 1
一个应用程序为一个application.
(2) job: 1
①saveAsTextFile为action操作,根据action操作划分job,故job为1个.
②切分方法:
从前往后找action算子,找到一个就形成一个job
(3) stage: 2
①reduceByKey为宽依赖,每个job下根据Shuffle操作划分stage,故stage为2个.
(stage个数=shuffle个数+1)
②切分方法:
从后往前找shuffle类型/宽依赖的算子,遇到一个断开划分形成一个stage;
最后一个stage称为ResultStage,除此之外的其他stage称为ShuffleMapStage.
③每个stage中可能包含多个不同的RDD,比如stage1中为三个RDD;
④一个stage又可能会划分成多个task执行(默认情况下,每一个分区就会是一个task)
⑤每个RDD可以指定不同分区数,图中stage1中RDD为四个分区,stage2中RDD为三个分区
(4) task: 7 (stage1阶段为4个;stage2阶段为3个)
①stage1阶段,RDD是四个分区,task也为四个;stage2阶段,RDD是三个分区,task也为3个.
② task总数 = 不同stage中task总和;
每个stage中task数 = 该stage下最后一个RDD的Partition的数量决定
图二
(1)输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block.
(2)当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件
