Client(了解)
Spark的Driver驱动程序运行在提交任务的客户端上。
- 优点
- 因为Driver在客户端，所有在Driver中的程序结果输出可以客户端控制台看到
- 缺点
- 和集群的通信成本高
- 当驱动进程挂掉，需要手动启动
案例
前提：
1.需要Yarn集群
2.历史服务器
3.提交任务的的客户端工具-spark-submit命令
4.待提交的spark任务/程序的字节码–可以使用示例程序
需求：求Pi元圆周率
代码：
SPARK_HOME=/export/servers/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode client \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.7.jar \
10
结果：
查看Web界面：
http://node01:8088/cluster
Cluster模式(开发使用)
Spark的Driver驱动程序，运行在Yarn集群上
- 优点
1.因为Driver是交给Yarn管理的，如果失败会有Yarn重启
2. 和集群的通信成本低
- 缺点
1.Drive中的程序结果在客户端控制台上看不到，在Yarn中看
案例
前提：
1.需要Yarn集群
2.历史服务器
3.提交任务的的客户端工具-spark-submit命令
4.待提交的spark任务/程序的字节码–可以使用示例程序
需求：求Pi元圆周率
代码：
SPARK_HOME=/export/servers/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.7.jar \
10
结果：
查看Web界面：
http://node01:8088/cluster
补充：spark-shell和spark-submit
-
两个命令的区别
spark-shell：spark应用交互式窗口。启动后可以直接编写spark代码，即时运行，一般在学习测试时使用
spark-submit：用来将spark任务/程序的jar包提交到spark集群(一般提交到yarn集群) -
可以携带哪些参数
- –master：默认是local[*]
或者指定 --master local[2]，表示启动两个线程进行Spark任务作业
–master spark://node01:7077，表示在node01进行Spark任务作业
–master yarn，表示在yarn集群上进行Spark任务作业
- 其他参数
使用进行查看：spark-shell --help