使用spark-submit命令提交Spark应用(注意参数的顺序)
spark-submit --master spark://hadoop01:7077 --class cn.edu360.spark.WordCount sparkcore-1.0-SNAPSHOT.jar hdfs://hdp-01:9000/wordcount/input hdfs://hdp-01:9000/wordcount/output
任务执行命令的基本套路：
spark-submit 任务提交参数 --class 程序的 main 方法 jar 包 main 的参数列表
可以直接通过spark-submit查看所有的参数配置:
spark 任务常用参数说明
--master spark://hdp-01:7077 指定 Master 的地址
--executor-memory 2g 指定每个 executor 可用内存为 2G（ 512m） 默认是 1024mb
--total-executor-cores 2 指定运行任务使用的 cup 核数为 2 个
--name “appName” 指定程序运行的名称
--executor-cores 1 指定每一个 executor 可用的内存
--jars xx.jar 程序额外使用的 jar 包
注意：如果 worker 节点的内存不足，那么在启动 spark-shell 的时候，就不能为 executor
分配超出 worker 可用的内存容量，大家根据自己 worker 的容量进行分配任务资源。
如果使用配置—executor-cores,超过了每个 worker 可以的 cores，任务处于等待状态。
如果使用—total-executor-cores ,即使超过可以的 cores，默认使用所有的。以后当集群
其他的资源释放之后，就会被该程序所使用。
如果内存或单个 executor 的 cores 不足，启动 spark-submit 就会报错，任务处于等待状
态，不能正常执行。