Spark程序on YARN

1，启动spark shell on yarn  

2,执行程序 

 

3，执行Spark自带的示例程序PI 

 spark-submit --class org.apache.spark.examples.SparkPi \
 --master yarn \
 --deploy-mode cluster \
 --driver-memory 1G \
 --executor-memory 1G \
 --executor-cores 1 \
 /opt/ZDH/parcels/lib/spark/examples/jars/spark-examples_2.11-2.2.1-zdh9.3.1-SNAPSHOT.jar \
 10

 

4，观察yarn的web页面，可以看到spark执行的job信息