Spark Standalone Mode配置HA

配置环境:node1、node2、node3
核心就是在spark-env.sh中添加(三台节点都添加):

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.245.151:2181,192.168.245.163:2181,192.168.245.165:2181"

这里没有设置在zookeeper上的位置,默认为/spark.
之后在node1操作:start-all.sh 通过web查看,node1为master节点
问题来了,当我在node2里操作:start-master.sh来启动一个standby节点后,发现启动失败,查看日志后发现,是因为在node2的spark-env.sh里的配置:export SPARK_MASTER_IP=node1,这里解决方法有两种:
一、 直接将node1改为node2即可,同理,如果想让node3做standby节点,可做同样配置
二、直接将这个配置注释掉,不指定master,自己就可以作master

猜你喜欢

转载自blog.csdn.net/qq_31246691/article/details/80172533