spark属性配置的优先级

一:优先级

优先级:是计算机分时操作系统在处理多个作业程序时,决定各个作业程序接受系统资源的优先等级的参数。

二:情况

进程是有优先级的。如果即将被运行的进程的优先级比正在运行的进程的优先级高,则系统可以强行剥夺正在运行的进程的CPU,让优先级高的进程先运行。

三:spark中

每个值将作为一个flags传递到应用中并个SparkConf对象中相应的属性进行合并。通过SparkConf 对象配置的属性优先级最高;其次是对spark-submit 或 spark-shell通过flags配置;最后是spark-defaults.conf文件中的配置。

SparkConf > spark-submit 或 spark-shell >spark-defaults.conf

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/85272630