飞腾+麒麟上安装spark

一、软件包

版本号：

spark:2.1.0      

scala 2.11.11

源：

Spark:wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz

scala:wget https://downloads.lightbend.com/scala/2.11.11/scala-2.11.11.tgz

二、安装

安装前提：Java，hadoop，Scala；

1)   配置spark-env.sh

将spark-env.sh.template重命名为spark-env.sh。 添加如下内容：

2)   修改slaves

将slaves.template重命名为slaves 修改为如下内容：

slave1

slave2

3)   配置环境变量

在~/.bashrc文件中添加如下内容，并执行$ source ~/.bashrc命令使其生效

export SPARK_HOME=/usr/local/spark

export SCALA_HOME=/usr/local/scala

export path=$path:/usr/local/spark/bin:/usr/local/spark/sbin:/usr/local/scala/bin

4)   分发spark

将spark复制到另外两个节点

5)   启动spark

$ ./start-all.sh

$ ./start-history-server.sh

三、验证

1)   进程验证

启动后，Master进程,可以看到有Master进程：

Slave进程，可以看到有worker进程：

2)   Web界面：

3)   用Scala验证：

启动Spark shell界面：spark-shell --master spark://master:7077，用spark的README.md验证如下：

 

作者：杜变霞