Partition 为RDD基本组成单位,每个分片会被一个计算任务Task处理。
每个分配的存储是由BlockManger实现。
每个分区都会被应生成BlockManger的一个block,而每一个Block会被一个Task负责计算。
Spark中partition rdd task关系
猜你喜欢
转载自blog.csdn.net/weixin_41772761/article/details/114315536
今日推荐
周排行