最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。
一、架构说明
本次基于spark-2.4.3-bin-hadoop2.6版本进行分布式配置。在此设置一个主节点和两个从节点。
准备3台虚拟机，分别为：
| 主机名 |
IP地址 |
| master |
192.168.0.41 |
| slave1 |
192.168.0.42 |
| slave2 | 192.168.0.75 |
本章节是记录Spark的搭建，后续会记录Hbase、Zookeeper、Scala、Kafka、Hadoop、Hive等的搭建，都是基于该环境的，一主两从模式的。
已经在/home下创建了hadoop文件夹，用来存放各种安装的软件。
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/，这是我找的一个镜像服务器地址
二、搭建步骤
1、上传spark-2.4.3-bin-hadoop2.6.tgz到/home/hadoop下，然后解压tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz
2、配置环境变量，vim /etc/profile
export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.6
export PATH=$PATH:$JAVA_HOME/bin:$SPARK_HOME/bin
3、修改spark-env.sh文件，进入spark-2.4.3-bin-hadoop2.6目录
复制目录下conf里的spark-env.sh.template：cp spark-env.sh.template spark-env.sh
修改配置：vim spark-env.sh
export JAVA_HOME=/usr/jdk1.8.0_161
export SCALA_HOME=/home/hadoop/scala-2.11.1
export SPARK_MASTER_IP=192.168.0.41
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0-cdh5.8.0/etc/hadoop
4、配置slaves，还是conf目录下，运行命令：mv slaves.template slaves
然后在slaves里添加配置
master
slave1
slave2
5、复制spark-2.4.3-bin-hadoop2.6到slave1、slave2
scp -r /home/hadoop/spark-2.4.3-bin-hadoop2.6 [email protected]:/home/hadoop
scp -r /home/hadoop/spark-2.4.3-bin-hadoop2.6 [email protected]:/home/hadoop
同时将/etc/profile拷贝到slave1、slave2上，或者将配置内容拷贝过去，然后记得source /etc/profile
6、启动spark集群
在spark-2.4.3-bin-hadoop2.6目录下的sbin目录执行./start-all.sh
使用jps和8080端口可以查看集群是否启动成功
