いくつかの動作モードの1.はじめに
いくつかの動作モードをスパーク：
1）地方
2）スタンドアロン
3）糸
4）ヶ
ダウンロード IDEAをしてインストールし、無料のマニュアルを参照してBaiduのことができます。
2.sparkスタンドアロンモードの設定とテスト
1）jdk1.8インストール
2）scala2.11.8が既にインストールされています
3）Hadoop2.5.0が既にインストールされています
4）インストールのスパークスタンドアロン
a）配置slave
私たちは奴隷です
bigdata-pro01.kfk.com
bigdata-pro02.kfk.com
bigdata-pro03.kfk.com
B）の構成spark-env.sh
我々はspark-env.sh
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_11
輸出SCALA_HOME =は/ opt /モジュール/スカラ-2.11.8
SPARK_CONF_DIR =は/ opt /モジュール/火花-2.2.0-binに/ confに
SPARK_MASTER_HOST = bigdata-pro02.kfk.com
SPARK_MASTER_PORT = 7077
SPARK_MASTER_WEBUI_PORT = 8080
SPARK_WORKER_CORES = 1
SPARK_WORKER_MEMORY = 1グラム
SPARK_WORKER_PORT = 7078
SPARK_WORKER_WEBUI_PORT = 8081
C）の火花は各ノードの他のノードに配布し、特定の構成を変更するように構成されました
bigdata-pro01.kfk.com:/opt/modules/ SCPは-r火花2.2.0-binに
bigdata-pro03.kfk.com:/opt/modules/ SCPは-r火花2.2.0-binに
D）出発火花
sbinに/ start-all.sh
E）クライアントのテスト
ビン/火花シェル--masterスパーク：//bigdata-pro02.kfk.com：7077
d）のクラスタランニング
//bigdata-pro02.kfk.com：7077 --deployモードのクラスタ/opt/jars/sparkStu.jarのHDFS：//bigdata-pro01.kfk.com：9000 /ユーザーbinに/ --master火花をスパーク提出/data/stu.txt HDFS：//bigdata-pro01.kfk.com：9000 /ユーザー/データ/出力
糸モードの設定と試験に3.spark
1）注Hadoopの構成ファイルJDKバージョンは、JDKの現在のバージョンと一致しています
2）糸パターン上の火花は、ジョブを送信します
ビン/火花提出--class com.spark.test.Test --master糸--deployモードのクラスタ/opt/jars/sparkStu.jar HDFS：// bigdata