シリコンバレーは、まだ最新の大規模なデータスパーク-2019版です

第一章:

 

四.localのモード

のみ実行します

実行中の複数のスレッドのローカル[k]が代表

ローカル[*]完全な実行を表し、

 

ファイブ.spark使用

1.bin /パラメータは、ジョブを送信するために使用することができ、スパーク提出

パラメータは次のとおり

指定されたアドレス--masterマスター、デフォルトではローカルです
--class:あなたのアプリケーションのクラスを開始する(例えばorg.apache.spark.examples.SparkPiなど)
--deploy- MODEワーカーノードへのドライブ(クラスタ)を公開するかどうか:またはローカルクライアント(クライアント)(デフォルト:クライアント)として* 
--conf:スパーク任意の構成属性、フォーマットキー =値値にスペースが含まれている場合は、引用符「キー= 値」
のファイルアプリケーションJAR-:予め包装アプリケーションのJARは、依存関係が含まれています。クラスタ内のこのURLをグローバルに見えます。例えばHDFS://共有ストレージシステム、ファイルの場合:// パスは、すべてのノードへのパスが同じJAR含む
ファイルのアプリケーション引数:主に渡される()メソッドのパラメータ
--executorメモリ1Gは、各エグゼキュータを指定しますメモリ利用できる。1G 
--total-コアexecutor- 2エグゼキュータは、二つのカップ監査のそれぞれを指定するために使用しました

次の操作を行います

binに/火花防止\提出
 - クラスorg.apache.spark.examples.SparkPi \
 --executor- メモリ1G \
 --total-エグゼキュータ・コア2 \ /例/瓶/火花examples_2。11 - 2.11 の.jar \
 100

 

2.bin /火花シェル、コマンドライン環境を入力し、デフォルトでは、このようなSCと良いもの、の多くを作成します。

JSPのjavaコマンドは、実行中のプログラムを表示するには

火花シェルプロンプト、URL、などhadoop102など:4040、プログラムのウェブ版を参照してください状態を実行することです、つまりジョブズスパーク

糸アプリケーション-list、アプリケーションIDを参照してください

 

六.WordCountプログラム

1.load

2.flat

3.group

4.重合

5.印刷

 

おすすめ

転載: www.cnblogs.com/cascle/p/12404836.html