spark单机环境安装

Ubuntu16.04以上
Hadoop 2.7.1以上
Java JDK 1.7以上
Spark 2.1.0

1、安装好jdk
2、解压spark文件
tar -xvf spark-2.0.1-bin-hadoop2.7.tgz

3、进入安装文件
cd conf

修改配置文件
复制conf spark-env.sh.template 文件为 spark-env.sh
在其中修改，增加如下内容
SPARK_LOCAL_IP=服务器IP地址

注意，我IP是主机名映射的。
主机名映射教程：
1.配置主机名

执行：vim /etc/sysconfig/network

编辑主机名

**注意：主机名里不能有下滑线，或者特殊字符 #$，不然会找不到主机导致无法启动 这种方式更改主机名需要重启才能永久生效，因为主机名属于内核参数。 如果不想重启，可以执行：hostname hadoop01。但是这种更改是临时的，重启后会恢复 原主机名。

所以可以结合使用。先修改配置文件，然后执行:hostname hadoop01 。可以达到不重启或 重启都是主机名都是同一个的目的**

2.配置hosts文件
执行：vim /etc/hosts

3.spark的使用
在bin目录下通过 spark-shell --master=local 启动本地模式
启动后 发现打印消息
	Spark context Web UI available at http://192.168.242.101:4040//Spark的浏览器界面
	Spark context available as 'sc' (master = local, app id = local-1490336686508).//Spark提供了环境对象 sc
	Spark session available as 'spark'.//Spark提供了会话独享spark