一、安装配置scala：
首先建立scala存放目录：mkdir /root/scala
解压至该目录：tar -zxvf /root/software/scla-asdfa -C /root/scala
然后配置环境变量，
执行 vim /etc/profile 编辑配置文件，在PATH后追加scala的二进制位置，
这里是 :/usr/local/scala/scala-2.11.8/bin （冒号也是要的）
配置完之后，保存并退出
执行 source /etc/profile 使环境变量生效
执行 scala -version 正常返回版本信息，则Scala环境配置成功
二、安装配置SPARK:
1、下载解压至指定目录：
2、配置spark的环境变量：
vi /etc/profile
#SPARK_HOME
export SPARK_HOME=/root/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
3、进入/root/spark/spark-2.4.0-bin-hadoop2.7/conf目录：
cp spark-env.sh.template spark-env.sh
vi spark-env.sh,填入：
export SCALA_HOME=/root/scala/scala-2.11.8
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
HADOOP_HOME=/root/apps/hadoop-2.8.5
HADOOP_CONF_DIR=/root/apps/hadoop-2.8.5/etc/hadoop
SPARK_MASTER_IP=hdp-01
SPARK_MASTER_PORT=7077
cp slaves.template slaves
hdp-01
hdp-02
如果整合hive,hive用到mysql数据库的话，需要将mysql数据库连接驱动jmysql-connector-java-5.1.7-bin.jar放到$SPARK_HOME/jars目录下
------------------------------
将spark-2.2.0-bin-hadoop2.6 分发到各节点。
4、Spark启动与关闭
1）在Spark根目录启动Spark
./sbin/start-all.sh
2）关闭Spark
./sbin/stop-all.sh
5、验证启动：
在hdp-01上，jps；在hdp-02上jps
进入管理界面： http://hdp-01:8080
6、运行第一个spark程序：
进入spark的bin目录：
./run-example SparkPi