浅析 Spark (V2.x ) on YARN

1.   --deploy-mode: yarn-client 和 --deploy-mode: yarn-cluster 都是--master yarn 模式配置下的，不同deploy而已。它们的deploy区别如下：

yarn-client：

yarn-cluster:

2. 只需要启动的进程：start-dfs.sh, start-yarn.sh 和  start-history-server.sh。Spark 任务不会通过mr-jobhistory-daemon.sh记录任务，即使你启动它。

$ jps
38531 NameNode
38979 SecondaryNameNode
38711 DataNode
40135 HistoryServer
39480 NodeManager
45502 Jps

39327 ResourceManager