宽依赖和窄依赖深度剖析
宽依赖和窄依赖的概念：
- 窄依赖：一个RDD，对其父RDD只有简单的一对一的依赖关系。即父RDD和子RDD的partition的对应关系是一对一的
- 宽依赖：英文名称shuffle dependency本质就是shuffle。也就是说，每个RDD的partition数据都可能有一部分数据传递到下一个RDD的partition中。此时，父RDD和子RDD之间是交互错综复杂的关系，他们之间发生的是shuffle
如下图所示：
宽依赖和窄依赖深度剖析
猜你喜欢
转载自blog.csdn.net/yiluohan0307/article/details/80074554
今日推荐
周排行