Spark--安装和配置遇到的所有问题

每天都是新的开始，每次都要用心去努力。才能不辜负自己，当你有一天回首的时候，也不会为自己碌碌无为而说平凡可贵，相信自己，问题虽然很多，但是终有解决的办法，，，
——————————————送给在寻找问题的你
一，scala的安装
官网寻找自己想要的版本：https://www.scala-lang.org/download/
这里要注意的是：不同的版本他所支持的jdk，maven的版本是不一样的；
1.下载scala-2.11.8.tgz
tar -zxvf /opt/softwares/scala-2.11.8.tgz -C ./
2.修改/etc/profile
sudo vi /etc/profile
添加：
export SCALA_HOME=/opt/modules/scala-2.11.8
export PATH= $SCALA_HOME/bin:$PATH
3.即时生效
source /etc/profile
二、spark
1.安装配置
（1）解压缩spark
tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz -C /opt/modules/
（2）复制配置文件/opt/modules/spark-2.1.0-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
（3）修改配置文件 spark-env.sh
JAVA_HOME=/opt/modules/jdk1.8.0_151
SCALA_HOME=/opt/modules/scala-2.11.8
HADOOP_CONF_DIR=/opt/modules/hadoop-2.6.0-cdh5.15.0/etc/hadoop
SPARK_LOCAL_IP=hadoop
（4）启动hdfs（一定，否则出现问题！）

（5）修改 slaves 文件
cp slaves.template slaves

添加：【这个是内网ip】
hadoop
（6）重命名log4j.properties
cp log4j.properties.template log4j.properties
2.测试
（1）启动服务【master/worker】

sbin/start.all.sh
结果：jps

    [hadoop@hadoop spark-2.1.0-bin-hadoop2.6]$ jps
    3744 NameNode
    8084 Jps
    8036 Worker
    7975 Master
    4008 SecondaryNameNode
    3865 DataNode

（2）启动自带测试案例
./bin/run-example SparkPi 50
【结果：测试成功！】
（3）启动客户端/opt/modules/spark-2.1.0-bin-hadoop2.6/下面
./bin/spark-shell
其中还要注意的是：
1.在你的本地windows文档要做相应的映射
我的是在c 》 windows 》system32 》drivers 》etc 下面的hosts文件
47.105.194.63 hadoop001 添加相应的外网（云主机外网ip）+你的xshell名称
2.在阿里云主机上要配置你的4040/4040端口
3.要记得关闭你的服务器的防火墙
结果：成功了