spark安装部署手册

  1. 官网下载spark安装包

  2. 上传到服务器使用命令tar -zxvf 解压缩

  3. 解压后的spark通过start-master.sh启动,此时有可能启动报错,找不到java_home,这是需要修改spark-config.sh,需要在里面加上export JAVA_HOME=jdk路径

  4. 主节点启动后,一般是占用8080端口,如果不是依次类推,8081.... ,从管理控制台获取URL地址。

  5. 启动从节点,使用 start-slave.sh <master-spark-URL>(该URL)是从spark控制台获取的

  6. 主、从节点启动完毕后可以通过控制台进行查看

猜你喜欢

转载自blog.51cto.com/zhengqidaxia/2152716