spark学习心得

spark学习,官网阅读完之后,练习官方给出的例子之后,就是阅读源码了,

学习spark,了解spark应用后,就是阅读源码了,阅读源码并不难,编译器打开就能知道,而要知道源码设计思路,为什么这么设计,就是一个比较困难的地方了

阅读spark源码,其核心要素就是围绕着RDD进行深入探究和spark的作业调度的生命周期。

1.理解RDD,需要把握RDD的两个核心操作,transformation 和 action

2.理解RDD的jobschedule,一个job又分为多个stage,每个阶段都包含多个RDD,其关系根据生成DAGSchedule进行调度,DAGSchedule包含多个RDD的translate,然后stage又是如何被分配到cluster中的。

以上两点是我在阅读源码中有所感触的地方

猜你喜欢

转载自1501256574.iteye.com/blog/2276448