【Spark内核源码】SparkConf,Spark的配置管控

目录

概述

从系统中获取并设置配置信息

使用SparkConf提供的方法设置配置信息

通过克隆的方式设置配置信息

 总结


概述

SparkConf,以KEY-VALUE对的形式设置Spark的配置参数。我们编写Spark应用程序时,也会先创建SparkConf,并配置一些参数,再传递给SparkContext。下面试对SparkConf的源码进行的分析。

SparkConf位于Spark Core中的org.apache.spark包下。分别继承了Cloneable、Logging和Serializable。

SparkConf分别实现了一个有参和无参的构造方法,这个参数loadDefaults是布尔类型的,控制SparkConf是否从系统中获取以“spark”开头的配置参数。无参构造方法,默认loadDefaults=true

SparkConf所有的配置信息都是以KEY-VALUE对的形式存储在settings中,key、value都是String类型的。

SparkConf又是如何向settings中put数据的呢?下面就是put数据的核心代码,并不难理解。

Spark的配置通过三种方式获取:

  1. 系统参数中以“spark.”开头的属性
  2. 使用SparkConf提供的方法设置
  3. 克隆其他的SparkConf

从系统中获取并设置配置信息

默认loadDefaults=true,所以会执行loadFromSystemProperties方法,利用if守卫,筛选出key以“spark.”开头的信息,并增加到settings中。

使用SparkConf提供的方法设置配置信息

基于set方法,SparkConf进行了一系列扩展,提供了N多个方法,用于用户自己配置SparkConf参数。

设置“spark.master”

设置“spark.app.name”

设置“spark.jars”,告诉Spark还要加载哪些jar包

设置“spark.executorEnv.”

设置“spark.home”

批量设置和自定义设置

还有一些方法,不仅有设置参数的(set)还有可以获取参数的(get),这里就不一一列举出来了,太多了。

通过克隆的方式设置配置信息

SparkConf继承了Cloneable,并重写了clone方法,所以可以使用克隆的方式设置配置信息。

 总结

SparkConf以key-value的形式管理Spark的配置信息,这些配置信息主要是从系统中加载进来的(系统信息中筛选以“spark.”开通的配置信息),使用人员自定义的(通过SparkConf提供的方法),或者是通过克隆其他SparkConf对象得到的。

Spark是不支持在运行期间修改SparkConf配置信息的。

猜你喜欢

转载自blog.csdn.net/lazy_moon/article/details/83063168