spark如何划分DAG视图

spark根据宽依赖进行DAG视图的划分。

1、窄依赖:每个父RDD的partition 最多被一个子RDD的 partition使用。

   窄依赖分为两类:第一类是一对一的依赖关系,在Spark中用OneToOneDependency来表示父RDD与子RDD的依赖关系是一对一的依赖关系,如map、filter、join with inputs co-partitioned;第二类是范围依赖关系,在Spark中用RangeDependency表示,表示父RDD与子RDD的一对一的范围内依赖关系,如union。

2、宽依赖:每个父 RDD 的patition 都被多个子 RDD的 patition 使用。是一种会导致计算时产生 shuffle 操作的 RDD 操作。

3、DAG生成机制:

  DAG在图论中指的是有向无环图,而在spark中,由于计算过程具有先后顺序,也就是说任务需要进行排队形成一个队列的任务集合,这个队列的任务集合就是DAG图。

  DAG生成机制关键就是对stage的划分,划分stage的依据就是RDD的依赖关系,对于窄依赖,RDD之间的数据不需要进行shuffle,多个数据处理只需要在同一台机器的内存中就能完成计算,因此可以将其划分到同一个stage当中。而宽依赖,涉及到shuffle,必须等到父RDD完成计算,才能进行下一步计算,因此会在宽依赖处进行stage的切分。

   在Spark中,DAG生成的流程关键在于回溯,在程序提交后,高层调度器将所有的RDD看成是一个Stage,然后对此Stage进行从后往前的回溯,遇到Shuffle就断开,遇到窄依赖,则归并到同一个Stage。等到所有的步骤回溯完成,便生成一个DAG图。

参考博客:https://blog.csdn.net/newchitu/article/details/92797090#一、窄依赖解析

猜你喜欢

转载自www.cnblogs.com/guoyu1/p/12049257.html
DAG