文章目录
一、Spark创建RDD分区数量源码详解
在 Spark 中，一个作业可以被切分成多个任务，然后分发给集群中的 Executor 节点并行执行。这种切分和并行执行的概念可以帮助提高数据处理的效率。
并行度（Parallelism） 是指同时执行的任务数量。在 Spark 中，并行度指的是同时执行的任务数量，这些任务可以是在不同的 Executor 节点上运行的。分区是数据的逻辑片段，每个分区都可以由一个任务处理。
在 Spark 中，默认情况下，每个分区都会分配到一个任务，从而实现并行处理。但是，并行度的设置还涉及到其他因素，如集群资源、任务的资源需求、任务间的数据传输等。
在构建 RDD 时，确实可以通过 parallelize、textFile 等方法指定分区数量。
首先我们看个例子：
val sparkConf = new SparkConf(