安装说明
安装环境
虚拟机：VirtualBox-6.1.18
操作系统：Ubuntu16.04LTS
集群情况：
| 主机名称 | Hadoop版本 | IP地址 |
|---|---|---|
| hadoop-master | 2.7.3 | 192.168.56.1 |
| hadoop-slave1 | 2.7.3 | 192.168.56.2 |
| hadoop-slave2 | 2.7.3 | 192.168.56.3 |
本次安装的Spark
Spark版本：2.3.6
下载地址：spark-3.1.2-bin-hadoop2.7.tgz
其他：Spark官网 、查看不同版本、Spark3.1.2 官方文档
都准备就绪后，我们就接着往下开始安装吧！
不知道怎么准备的，我之前的文章 也许可以给你带来一些参考哦 - - - ☞ 搭建hadoop集群
开始安装
- 我的两个基础软件Hadoop、Java 分别是在/usr/hadoop 和 /usr/java下
- 其他的都安装在 ~/Hadoop 的文件夹下
- Spark仅需安装在hadoop-master下哦
安装并配置Spark
1. 解压
$ cd ~/下载
$ cp spark-3.1.2-bin-hadoop2.7.tgz ~/Hadoop/
$ cd ~/Hadoop
$ tar -zxvf spark-3.1.2-bin-hadoop2.7.tgz
$ mv spark-3.1.2-bin-hadoop2.7 spark-3.1.2
2. 配置
2.1 slaves
// 创建一个新的文件"slaves"
$ cd spark-3.1.2/conf/
$ gedit slaves
// 添加以下内容，保存退出
hadoop-master
hadoop-slave1
hadoop-slave2
2.2 spark-defaults.conf
// 复制一份 spark-defaults.conf 并进行编辑
$ cp spark-defaults.conf.template spark-defaults.conf
$ gedit spark-defaults.conf
// 去掉底部的注释部分，改为以下内容
spark.master spark://hadoop-master:7077
spark.eventLog.enabled true
spark.eventLog.dir dfs://hadoop-master:8020/spark-logs
spark.history.fs.loDirectory hdfs://hadoop-master:8020/spark-logs
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 5g
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
2.3 spark-env.sh
// 复制一份 spark-env.sh 并进行编辑
$ cp spark-env.sh.template spark-env.sh
$ gedit spark-env.sh
// 在最后添加以下内容
export JAVA_HOME=/usr/java
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.56.1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1G
export SPARK_WORKER_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_EXECUTOR_CORES=1
export SPARK_WORKER_TNSTANCES=1
2.4 环境变量
// 我是添加在 /etc/profile
$ sudo gedit /etc/profile
// 然后在里面加入下面两句
export SPARK_HOME=/home/xld/Hadoop/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin
// 保存并退出，然后使其生效
$ source .bash_profile
3. 启动Spark
$ cd ~/Hadoop/spark-3.1.2/sbin/
$ ./mahout
成功启动，能看见下面一堆相关信息
输入$ jps可以看到 Worker 和 Master
用浏览器打开 http://192.168.56.1:8080 可以看到以下界面：
其他
最后，自己可以跑跑 官方文档 Running the Examples and Shell 中的一些例子试试。
参考文章：Spark-3.1.2搭建