宽依赖和窄依赖的区别

宽依赖和窄依赖的区别
参考:
https://blog.csdn.net/u013384984/article/details/80963455
总结一下:

窄依赖:父RDD中,每个分区内的数据,都只会被子RDD中特定的分区所消费,为窄依赖:

**宽依赖:**父RDD中,分区内的数据,会被子RDD内多个分区消费,则为宽依赖: 会产生shuffle,遇到宽依赖,则划分为多个stage
在这里插入图片描述

发布了273 篇原创文章 · 获赞 1 · 访问量 4683

猜你喜欢

转载自blog.csdn.net/wj1298250240/article/details/103964984