SparkConf 配置的概念和用法

一:概念

Spark应用程序的配置,用于将各种Spark参数设置为键值对。
大多数情况下,将使用新的SparkConf(),创建一个SparkConf对象,该对象将从您的应用程序中设置的任何spark.的Java系统属性加载值。 在这种情况下,* 直接在SparkConf对象上设置的参数优先于系统属性 **。

二:使用

无论官方还是自定义,spark配置一定是以“spark.*”开头

scala> :quit
[hadoop@hadoop001 bin]$ ./spark-shell --master local[2] --conf name=suoze --conf spark.age=18
Warning: Ignoring non-spark config property: name=suoze

其中–conf可以写很多,这里就有个警告提示name,去控制台看一下
在这里插入图片描述
在哪里去寻找呢。在源码当中:SparkSubmitArguments.scala 可以看到最完整的

三:spark配置文件

[hadoop@hadoop001 conf]$ vi spark-defaults.conf
spark.master local[2][hadoop@hadoop001 conf]$ vi spark-defaults.conf
[hadoop@hadoop001 conf]$ cd ../
[hadoop@hadoop001 spark-2.4.0-bin-2.6.0-cdh5.7.0]$ cd bin
[hadoop@hadoop001 bin]$ ./spark-shell


在配置文件中配置,就可以直接进入了
spark读写数据库,不能写死,就写在配置里面

scala> sc.getconf.get("spark.age")

在配置配置之后,使用这个命令可以取到
这里还可以扩展在优先级参考博客:https://blog.csdn.net/qq_43688472/article/details/85272630

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/85274070