クライアント（理解）
Sparkのドライバードライバーは、タスクを送信するクライアントで実行されます。
- 利点
- ドライバーはクライアント上にあるため、ドライバーでのすべてのプログラム結果の出力は、クライアントコンソールで確認できます。
- 不利益
- クラスターとの通信コストが高い
- ドライバプロセスがハングした場合は、手動で開始する必要があります
ケースの
前提条件：
1。Yarnクラスターが必要です
2.履歴サーバー
3.
タスクを送信するためのクライアントツール-spark - submitコマンド4.送信するsparkタスク/プログラムのバイトコード-サンプルプログラムを使用できます
需求：求Pi元圆周率
代码：
SPARK_HOME=/export/servers/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode client \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.7.jar \
10
結果：
Webインターフェイスを表示します。
http://node01:8088/cluster
クラスターモード（開発と使用）
Yarnクラスターで実行されているSparkのドライバードライバー
- 利点
1.ドライバーは管理のためにYarnに引き渡されるため、失敗するとYarnが再起動し
ます。2。クラスターとの通信コストが低い
- 不利益
1.ドライブのプログラムの結果は、クライアントコンソールではなく、Yarnに表示されます。
ケースの
前提条件：
1。Yarnクラスターが必要です
2.履歴サーバー
3.
タスクを送信するためのクライアントツール-spark - submitコマンド4.送信するsparkタスク/プログラムのバイトコード-サンプルプログラムを使用できます
需求：求Pi元圆周率
代码：
SPARK_HOME=/export/servers/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.7.jar \
10
結果：
Webインターフェイスを表示します。
http://node01:8088/cluster
サプリメント：spark-shellおよびspark-submit
-
2つのコマンドの違い
spark-shell：sparkアプリケーションのインタラクティブウィンドウ。起動後、sparkコードを直接記述して、すぐに実行できます。通常、
spark-submitは、学習およびテスト時に使用されます。sparkタスク/プログラムのjarパッケージをsparkクラスターに送信します（通常はyarnクラスターに送信されます）。 -
実行できるパラメータ
- –master：デフォルトはlocal [*]である
か、-master local [2]を指定します。これは、2つのスレッドを開始してSparkタスクジョブを実行することを意味します–
master spark：// node01：7077は、node01でSparkタスクジョブを実行することを意味します–
マスターヤーン。これは、ヤーンクラスターでSparkタスクジョブを実行することを意味します。
- その他のパラメータ
表示に使用：spark-shell --help