Lien vers le site officiel des paramètres de soumission Spark
Capture d'écran du site officiel: en savoir plus en anglais
- Cas Pi:
SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode client \
--driver-memory 512m \
--executor-memory 512m \
--num-executors 1 \
--total-executor-cores 2 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \
10
- ** Configuration des paramètres de base: ** Lors de la soumission pour exécuter Spark Application, certains paramètres de base doivent recevoir des valeurs, comme indiqué ci-dessous:
Chargez dynamiquement les paramètres d'exécution de Spark Applicaiton et spécifiez via -conf
- Configuration des paramètres du programme de pilote:
chaque exécution de l' application Spark dispose d'un programme de pilote , qui appartient à un processus de processus JVM et peut définir le nombre de cœurs de mémoire et de cœur de processeur (ressources)
- Configuration des paramètres de l'exécuteur : (comprenez que si la quantité de données est importante, utilisez-la pour modifier la mémoire CPU)
Pour résumer:
Yarn：
--num-executors NUM 去启动的executors的数量，默认为2
--executor-cores NUM 每一个executor有多少cpu cores，yarn默认为1
假如：num-executors=10个executors数量，每个executor有executor-cores=2，所有的executor的cpucores的数量10*2=20个
#Executor 的内存，真正执行计算的内存
--executor-memory MEM Memory per executor (e.g. 1000M, 2G) (Default: 1G). 每个Executor的内存，1G
假如：num-executors=10个executors数量，每个executor的内存--executor-memory=2G，所有参与计算的executors的内存是10*2=20G
--driver-cores NUM Driver端使用的CPuCores集合，默认为1
#Driver 申请资源执行计算
--driver-memory MEM Memory for driver (e.g. 1000M, 2G) (Default: 1024M). Driver的内存，1G
- Processus principal d'exécution du code: à l'
exception de l'ouverture et de la fermeture de SparkCOntext, toutes les autres parties sont terminées dans l'exécuteur