Scala2.11.8环境搭建
1、下载scala安装包scala-2.11.8.rpm安装
rpm -ivh scala-2.11.8.rpm
2、添加Scala环境变量，在/etc/profile中添加：
export SCALA_HOME=/usr/local/src/scala
export PATH=$PATH:$SCALA_HOME/bin
3、保存后刷新配置
source /etc/profile
Spark2.1.0完全分布式环境搭建
以下操作都在Master节点进行。
1、下载二进制包spark-2.1.0-bin-hadoop2.7.tgz
2、解压并移动到相应目录，命令如下：
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
mv hadoop-2.7.3 /usr/local/src/
3、修改相应的配置文件。
1) 修改/etc/profie，增加如下内容：
export SPARK_HOME=/usr/local/src/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin
2) 复制spark-env.sh.template成spark-env.sh
cp spark-env.sh.template spark-env.sh
3) 修改$SPARK_HOME/conf/spark-env.sh，添加如下内容：
export JAVA_HOME=/usr/local/src/jdk1.8.0_144
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/usr/local/src/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=172.16.1.2
export SPARK_MASTER_HOST=172.16.1.2
export SPARK_LOCAL_IP=172.16.1.2
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/local/src/spark-2.1.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/usr/local/src/hadoop-2.7.3/bin/hadoop classpath)
4) 复制slaves.template成slaves
cp slaves.template slaves
5) 修改$SPARK_HOME/conf/slaves，添加如下内容：
master
slave1
slave2
4、将配置好的spark文件复制到Slave1节点。（复制到slave2已省略）
scp -r /usr/local/src/spark-2.1.0-bin-hadoop2.7 root@Slave1:/usr/local/src/
5、修改Slave1和Slave2配置。
在Slave1和Slave2上分别修改/etc/profile，增加Spark的配置，过程同Master一样。
在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，将export SPARK_LOCAL_IP=172.16.1.2改成Slave1和Slave2对应节点的IP。
6、在Master节点启动集群。
/usr/local/src/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
7、查看集群是否启动成功：
jps
Master在Hadoop的基础上新增了：
Master
Slave在Hadoop的基础上新增了：
Worker
