Spark Standalone

spark standalone在windows和linux上的启动不一样, 分别是
windows:
开始一个master
./spark-class org.apache.spark.deploy.master.Master
开始一个worker
./spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
开始多个worker
要是想再加一个worker就直接把上面的命令再跑一次就会起一个新的worker

linux
开始一个marster
sbin/start-master.sh
开始一个worker
sbin/start-slave.sh spark://host:ip
开多个worker
SPARK_WORKER_INSTANCES参数可以指定开几个worker

猜你喜欢

转载自blog.csdn.net/chg1226/article/details/77855729