spark宽依赖与窄依赖

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/monkeysheep1234/article/details/69361382

窄依赖：Narrow Dependency

父RDD和子RDD是一对一的依赖关系，如map，filter

宽依赖：Shuffle Dependency

本质如其名，本质就是shuffle。如reduceByKey，groupyByKey

以wordcount为例，剖析图如下：