RDD的依赖关系(重要)

RDD的依赖关系

RDD和它的依赖的父RDD(s)的关系有两种不同的类型,及窄依赖(narrow dependency)和宽依赖(wide dependency)

窄依赖

窄依赖指的是每一个父RDD的partition最多被子RDD的一个partition使用
总结:窄依赖,形象的说就是独生子女

宽依赖

宽依赖指的是多个子RDD的partition会依赖于同一个父RDD的partition
总结:宽依赖,形象的说就是超生。
ps:宽依赖就会发生shuffle的过程

图解

在这里插入图片描述
注意:join只有在之前进行分组操作之后,再进行join,此时就是窄依赖,
否则一定是宽依赖

猜你喜欢

转载自blog.csdn.net/qq_42706464/article/details/108304254