Spark2.x安装配置

1、安装Hadoop集群

 

    详情请看以下安装教程

    Hadoop配置与安装：http://liumangafei.iteye.com/blog/2303359

    Hadoop基于Quorum Journal Manager的高可用配置：http://liumangafei.iteye.com/blog/2322063

 

    因为安装hadoop的时候肯定要安装jdk，所以就不在这里赘述了

 

2、安装scala

    

    下载scala：http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

    放在指定安装目录下如：/usr/scala/scala-2.11.8/

    

vim  /etc/profile

   增加以下内容

    

export SCALA_HOME=/usr/scala/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

    保存增加内容并执行

source /etc/profile

 

    验证配置是否成功

scala -version

 

    同步配置到其他机器上

3、配置Spark

    主要配置文件有两个spark-env.sh和slaves

    拷贝spark-env.sh.template为spark-env.sh

    拷贝slaves.template为slaves

    spark-env.sh添加以下代码

export SCALA_HOME=/usr/scala/scala-2.11.8
export JAVA_HOME=/usr/java/jdk1.8.0_91
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.4/etc/hadoop

    slaves添加与hadoop中的slaves配置相同的内容

hadoop2
hadoop3
hadoop4
hadoop5
hadoop6

    拷贝spark安装文件到其他几台slave上

4、启动spark

sbin/start-all.sh

    访问hadoop1:8080端口，即可显示spark的管理界面了