Spark集群安装（StandAlone）
下载spark安装包
下载地址spark官网：http://spark.apache.org/downloads.html
这里我们使用 spark-2.0.2-bin-hadoop2.7版本.
规划安装目录
/export/servers
解压安装包
tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz -C /export/servers
重命名目录
mv spark-2.0.2-bin-hadoop2.7 spark
修改配置文件
配置文件目录在 /export/servers/spark/conf
vi spark-env.sh修改文件(先把spark-env.sh.template重命名为spark-env.sh)
| #配置java环境变量 export JAVA_HOME=/export/server/jdk1.8.0_65 #指定spark老大Master的IP export SPARK_MASTER_HOST=node-1 #指定spark老大Master的端口 export SPARK_MASTER_PORT=7077 |
vi slaves 修改文件(先把slaves.template重命名为slaves)
| node-2 node-3 |
拷贝配置到其他主机
通过scp 命令将spark的安装目录拷贝到其他机器上
scp -r/export/servers/spark node-2:/export/servers
scp -r/export/servers/spark node-2:/export/servers
配置spark环境变量
将spark添加到环境变量,添加以下内容到 /etc/profile
| export SPARK_HOMEHOME=/opt/bigdata/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin scp /etc/profile root@node-2 :/etc |
注意最后 source /etc/profile 刷新配置
启动spark
/export/servers/spark/sbin/start-all.sh
停止spark
#在主节点上停止spark集群
| /export/servers/sbin/stop-all.sh |
spark的web界面
正常启动spark集群后，可以通过访问http://hdp-node-01:8080,查看spark的web界面，查看相关信息。
基于zookeeper的Spark HA高可用集群部署
该HA方案使用起来很简单，首先需要搭建一个zookeeper集群，然后启动zooKeeper集群，最后在不同节点上启动Master。具体配置如下：
(1)vim spark-env.sh
注释掉exportSPARK_MASTER_HOST=node-01
(2)在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS，内容如下：
| export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node-1:2181,node-2:2181,node-3:2181 -Dspark.deploy.zookeeper.dir=/spark"
|
| scp spark-env.sh root@node-2:$PWD 把当前目录的spark-env.sh拷到node-2的当前目录 |
参数说明
spark.deploy.recoveryMode：恢复模式（Master重新启动的模式）
有三种：(1)ZooKeeper(2) FileSystem (3)NONE
spark.deploy.zookeeper.url：ZooKeeper的Server地址
spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。
包括Worker，Driver和Application。
注意：
在普通模式下启动spark集群，只需要在主机上面执行start-all.sh 就可以了。
在高可用模式下启动spark集群，先需要在任意一台节点上启动start-all.sh命令。然后在另外一台节点上单独启动master。命令start-master.sh。