spark学习系列——10 spark宽依赖和窄依赖

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/FisherWang_CN/article/details/79702555

如何表现RDD之间的依赖。在RDD中将依赖划分成了两种类型：窄依赖(narrow dependencies)和宽依赖(wide dependencies)。窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的，那么宽依赖就是指父RDD的分区被多个子RDD的分区所依赖。例如，map就是一种窄依赖，而join则会导致宽依赖(除非父RDD是hash-partitioned，见下图)。

具体例子：

宽、窄 依赖有什么作用？

哪些算子是宽依赖，窄依赖？