搭建spark

参考书目：hadoop+spark 大数据巨量分析与机器学习整合开发实战
#安装scala

1. 下载scala
   网址：https://www.scala-lang.org/files/archive/
   选择一个合适的版本，在master终端进入需要放置scala文件目录输入：

wget http://www.scala-lang.org/files/archive/scala-2.12.7.tgz

1. 在当前工作目录下解压缩

tar -zxvf scala-2.12.7.tgz

3. 配置环境变量，并使其生效

#set scala env
export SCALA_HOME=/hadoop_opt/scala-2.12.7
export PATH=${SCALA_HOME}/bin:$PATH
source /etc/profile

1. 启动scala

#安装spark
2. 下载
网址：http://spark.apache.org/downloads.html

3. 解压

[root@master hadoop_opt]# tar -zxvf spark-2.3.2-bin-hadoop2.6.tgz

4. 配置环境变量

#set spark env
export SPARK_HOME=/hadoop_opt/spark-2.3.2-bin-hadoop2.6
export PATH=${SPARK_HOME}/bin:$PATH

5. 验证是否成功