Spark submit 提交任务（四）

Spark基于应用作业的操作

Spark框架可借助spark-submit来提交一个编写好的Job应用到集群，从而完成Spark应用的分析和处理，这通常是生产场景中使用的一种操作方式。

spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master002:7077 ../examples/jars/spark-examples_2.11-2.4.3.jar 1

注释：

1. –class 参数用于指定提交的JAR包中的运行主类
2. 最后一个数字1代表运行的slices数量（即并行度），每一个slice都将启动一个Task来运行，每一个Task任务对应一个JVM进程
3. .jar 是提交到Spark集群的Job作业打包JAR，这与Hadoop提交作业的方式是相同的

Spark操作的基础命令与开发工具介绍

1. 在Spark的安装目录下的bin目录中有以下两个运行命令

• Spark-submit：该命令用于提交Spark的Job应用，通常用于测试
• Spark-shell：Spark交互式命令行工具，通常用于生产环境

2. 开发Spark应用可使用IDEA或Eclipse