Spark常用执行脚本

集群环境变量无配置：
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
安全认证：
kinit -k -t test.keytab [email protected]

spark2执行命令：

#! /bin/bash
spark2-submit \
--class com.lhx.test \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 2g \
--executor-cores 2 \
--conf spark.default.parallelism=50 \
--conf spark.storage.memoryFraction=0.5 \
--conf spark.shuffle.memoryFraction=0.3 \
demo-1.0.jar \
'输入变量1'
'输入变量2'