スパークの引数は、詳細な
スパーク・シェル
火花点火シェルが対話型シェルプロシージャ、ユーザーフレンドリーなインタラクティブプログラミングを運んで、
ユーザは、コマンドラインで書き込みプログラムScalaの点火に使用することができます
例
火花シェルはパラメータを運ぶことができます
ローカル[N] --master火花シェルはNスレッドローカルアナログ現在のタスクを実行するために、数Nを表し
[*] *現在のマシン上で利用可能なすべてのリソースの使用を示しているローカル--masterスパークシェル
ローカル-master運ばないデフォルトパラメータ[*]
スパーク--master火花シェル：// hadoop01：7077、hadoop02：7077は、実行中のクラスタを表し、
火花提出
火花提出瓶契約スパーククラスタを提出するコマンドを/ YARN
本当に簡単な火花シェルのインタラクティブプログラミング我々がテストしたが、実際には、我々は一般的に、クラスタ/ YARNの実行にアプリケーションスパークスパークラベル瓶のパッケージを開発するためにIDEAを使用して学習します。
私たちが開発したときに火花-submitコマンドは、一般的に使用されます！
例：計算π
cd /export/servers/spark
/export/servers/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node01:7077 \
--executor-memory 1g \
--total-executor-cores 2 \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10
マスターパラメータフォーム
- ローカルで実行するには、ローカルワーカースレッド（例えば、非平行状況）インチ
- 地元のローカル[N] Kワーカースレッド（理想的には、NはCPUの数に設定されているが、あなたのマシンをコア）。
- ローカル[*]本機のコアへのスレッドの数が同じでローカルに実行されています。
- スパーク：// HOST：PORTが指定されたスパークスタンドアロンクラスタ・マスタに接続する
ポートは、あなたのマスタークラスタ構成ポートは、デフォルトは7077です。 - mesos：// HOST：PORTポートがあなたのMesosクラスター構成mesosポート、デフォルトの5050 ..です指定への接続
// ZK：：またはZKを使用し、フォーマットmesos // ... - YARNクラスタへのクライアント接続モードからクライアントへの糸。クラスタ化されたFOUNDに基づいてHADOOP_CONF_DIR変数位置。
- クラスタ化FOUNDに基づいてクラスタYARN。HADOOP_CONF_DIR可変位置にクラスタに糸クラスタ接続モード。
パラメータの他の例
- -masterスパーク：// node01：7077に指定するマスター住所
- 実行中の指定-name名「APPNAME」
- クラスmainメソッド級プログラムが常駐
- 追加プログラムのJARパッケージ-jars xx.jar使用
- -driver・メモリ512メートルドライバはデフォルト1グラム、メモリを実行する必要があります
- -executor・メモリの各メモリ利用可能エグゼキュータの2グラムを指定2G、デフォルトの1グラム
- -executor-コア1コア指定された数の利用可能なエグゼキュータのそれぞれ
- - 総・エグゼキュータ・コア2を指定2にカップの使用を監査するタスクを実行するために、クラスタ全体
- 列指定されたタスク-queueデフォルト
- -deployモードを指定するモード（クライアント/クラスタ）
注意：
もし不十分なワーカーノードのメモリなので、あなたが火花提出を起動したとき、それは労働者の使用可能なメモリ容量を超えることはできませんエグゼキュータが割り当てられます。
各作業者に利用可能なコア以上-executor-コアは、タスクが待ち状態である場合。
-総-エグゼキュータ・コアでも利用可能なコアを超えた場合は、デフォルトのすべてを使用して。ときに他のリソースの解放後のクラスタは、プログラムによって使用されます。
メモリやコアの単一executorが不足している場合は、エラーが待ち状態でタスクを火花提出を開始し、それが適切に実行することができません。
