テン、スカラ座、スパーククラスタセットアップ

スパーククラスタ構造:
1、Scalaの-2.10.6.tgzマスターアップロードするための
Scalaの-2.10.6.tgzを抽出し、2
。3は、環境変数の設定
をエクスポートSCALA_HOME =を/ mnt /スカラ座2.10.6-
$ SCALA_HOME:輸出PATH PATH = $を/ビン
。4、slave02 slave01するスカラ-2.10.6 / etc / profileを送信される
/ MNT /:SCP -R&LTスカラ2.10.6-slave01ルート@
slave01ルート@ SCPの/ etc /プロフィール:の/ etc /プロファイル
。5、ソース/ etc / profileを、テスト入力スカラ座
6に配置されたスパーク
解凍アップロード火花1.6.3-binの-hadoop2.6.tgz
/yangfengbing/spark-1.6.3-bin-hadoop2.6/confに
ミュージックビデオspark-env.sh .TEMPLATE spark-env.sh
設定ファイルspark-env.sh:
説明:JAVA_HOMEは、Javaのインストールディレクトリを指定します。
SCALA_HOME指定Scalaのインストールディレクトリ;
SPARK_MASTER_IPはマスタースパーククラスタノードのIPアドレスを指定します。
SPARK_WORKER_MEMORYは、ワーカーノードがエグゼキューに割り当てることができますを指定します最大メモリサイズ。
#HADOOP_CONF_DIRのHadoopクラスタ構成ファイルには、ディレクトリを指定します。

JAVA_HOME =エクスポート/ MNT / jdk1.7.0_80
エクスポートSCALA_HOME = / MNT /スカラ2.10.6-
エクスポートSPARK_MASTER_IP =マスター
エクスポートSPARK_WORKER_MEMORY = 2G
エクスポートHADOOP_CONF_DIR = / MNT / Hadoopの-2.6.5の/ etc /のHadoop
。7、入力/ yangfengbing / / binに-hadoop2.6-1.6.3-スパーク confが奴隷を見つけた
音楽ビデオが奴隷のslaves.template
:コンフィギュレーション
マスター
slave01
slave02を
8、構成環境変数火花。
エクスポートSPARK_HOME =を/ mnt /火花-1.6.3-binの-hadoop2.6
エクスポートPATH = $ PATH:$ SPARK_HOME / binに:$ SPARK_HOME / sbinに
。9、伝送スパークは、/ etc / profileを
SCP -R&スパーク-1.6.3-binの-hadoop2.6をLTはルート@をslave01:を/ mnt /
SCPの/ etc /ルートプロフィールslave01 @:/ etc / profileをの
ソースは/ etc / profile
10、クラスタ開始
1)は、マスターホストノードを開始します
スパークの実行start-master.shは、3つのサービスを開始することができます

192.168.200.200:8080ビューに






おすすめ

転載: www.cnblogs.com/yfb918/p/11510944.html