当我们使用Spark读取文件的时候,感觉很容易,也很快速。但是,我们想过其中实现的内在原理没?
目前我总结了,四个小问题,作为思考。
1).RDD创建个数
2).当我们使用textFile Api的时候,指定minPartition=3的时候,为什么系统会创建四个分区,以及四个Task呢?
3).当Spark读取文件的时候,文件是怎么划分的呢?我们观察Spark UI的时候,会发现有的task有输入数据,为什么task的输出的record为0呢?如下图所示:
1).创建RDD的个数:
https://blog.csdn.net/qq_20064763/article/details/88391284
2).分区与Task的创建个数细节: