Spark中partition rdd task关系

在这里插入图片描述
Partition 为RDD基本组成单位,每个分片会被一个计算任务Task处理。
每个分配的存储是由BlockManger实现。
每个分区都会被应生成BlockManger的一个block,而每一个Block会被一个Task负责计算。

猜你喜欢

转载自blog.csdn.net/weixin_41772761/article/details/114315536