Spark集群安装(Standalone)

  1. 解压安装包
tar -xvf spark-2.0.1-bin-hadoop2.7.tgz
  1. 在spark的conf目录下,复制 spark-env.sh.templatespark-env.sh
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

在这里插入图片描述

  1. 在spark的conf目录下,复制 slaves.templateslaves
cp slaves.template slaves
vim slaves

在这里插入图片描述

  1. 将spark安装目录远程拷贝到另外两个节点
scp -r spark-2.0.1-bin-hadoop2.7 hadoop02:/home/software/
scp -r spark-2.0.1-bin-hadoop2.7 hadoop03:/home/software/

启动spark集群

  1. 进入spark的sbin目录,启动spark集群
sh start-all.sh

在这里插入图片描述

  1. 在spark的bin目录下,进入spark客户端
sh spark-shell --master spark://hadoop01:7077

在这里插入图片描述

发布了27 篇原创文章 · 获赞 0 · 访问量 2009

猜你喜欢

转载自blog.csdn.net/qq_32834005/article/details/105613925