Standalone模式
准备好两台以上的Linux机器,安装好JDK1.7+
1.下载并上传Spark安装包
注意与hadoop对应得版本号
下载链接:https://archive.apache.org/dist/spark/
解压命令:tar -xf spark-2.1.1-bin-hadoop2.6.tgz -C ..........
2.配置Spark
配置位于conf文件夹中
1.将slaves.template复制为slaves
在slaves中加入从节点(worker)的IP
2.将spark-env.sh.template复制为spark-env.sh
在spark-env.sh中加入Master信息
红色为必选
3.启动/停止Spark
启动/停止命令位于sbin文件中
启动:./start-all.sh
停止:./stop-all.sh
4.验证启动
1.jps查看进程
2.浏览端查看
地址:mini1:8080
5.可能遇到的问题
1.“JAVA_HOME not set” 异常
解决方案:在sbin目录下的spark-config.sh 文件中加入如下配置:
export JAVA_HOME=XXXX
2.Hadoop HDFS的写入权限问题:
org.apache.hadoop.security.AccessControlException
解决方案: 在hdfs-site.xml中添加如下配置,关闭权限验证
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>