spark实验(一)--spark安装(1)

一、实验目的
（1）掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统上运行可以发挥最佳性能，因此，本教程中，Spark 都是在 Linux 系统中进行相关操作，同时，下一章的 Scala 语言也会在 Linux 系统中安装和操作。鉴于目前很多读者正在使用 Windows 操作系统，因此，为了顺利完成本教程的后续实验，这里有必要通过本实验，让读者掌握在 Windows 操作系统上搭建 Linux 虚拟机的方法。当然，安装 Linux 虚拟机只是安装 Linux 系统的其中一种方式，实际上，读者也可以不用虚拟机，而是采用双系统的方式安装 Linux 系统。本教程推荐使用虚拟机方式。（2）熟悉 Linux 系统的基本使用方法。本教程全部在 Linux 环境下进行实验，因此，需要读者提前熟悉 Linux 系统的基本用法，尤其是一些常用命令的使用方法。

二、实验过程

环境:centos6.4,jdk1.7.0,spark1.5.2

根据这篇博文https://www.cnblogs.com/Genesis2018/p/9079787.html安装spark1.5.2

首先输入

wget http://archive.apache.org/dist/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

下载spark1.5.2

等待下载完成后，将下载完的文件进行解压

输入

tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

将下载完的文件进行解压，之后输入以下命令移动到对应的/usr/local/目录中

mv spark-1.5.2-bin-hadoop2.6 /usr/local/

接着输入

gedit /etc/profile.d/spark.sh

在打开的文件中添加以下的信息

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR==$HADOOP_HOME/etc/hadoop export SPARK_HOME=/usr/local/spark-1.5.2-bin-hadoop2.6 export PATH=$PATH:$SPARK_HOME/bin

保存退出后

输入

source /etc/profile.d/spark.sh

使文件生效

接着输入

cp /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh

gedit /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh

在打开的文件中输入(IP和jdk需要根据自己本身的版本进行设置)

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.221.x86_64/jre
export SCALA_HOME=/usr/local/scala-2.10.6
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_MASTER_HOST=192.168.57.128

export SPARK_LOCAL_IP=192.168.57.128

接着输入

cp /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves

gedit /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves

将localhost中的内容改为对应虚拟机ip的地址

192.168.57.128

保存退出

验证spark安装：

sbin/start-master.sh

在服务器外边输入对应
http://192.168.57.128:8080/
发现正常启动

spark安装完毕

spark实验(一)--spark安装(1)

猜你喜欢