原理
オペレーティング
- zkを開始します
- 設定を変更する
vim /export/server/spark/conf/spark-env.sh
注释：＃SPARK_MASTER_HOST = node01
增加：
SPARK_DAEMON_JAVA_OPTS = "-Dspark.deploy.recoveryMode = ZOOKEEPER -Dspark.deploy.zookeeper.url = node01：2181、node02：2181、node03：2181 -Dspark.deploy.zookeeper.dir = / spark -は」
- 配布構成
cd /export/server/spark/conf
scp -r spark-env.sh root@node02:$PWD
scp -r spark-env.sh root@node03:$PWD
テスト
- Zookeeperサービスを開始します
zkServer.sh status
zkServer.sh stop
zkServer.sh start
-
node01でSparkクラスターの実行を開始します
/export/server/spark/sbin/start-all.sh -
node02でのみマスターを個別に開始します
/export/server/spark/sbin/start-master.sh -
WebUIを表示
http://node01:8080/
http://node02:8080/
-
node01のダウンタイムをシミュレートする
jps
kill -9 进程id
6.web-uiをもう一度表示します
http://node01:8080/
http://node02:8080/
