Spark的安装文档

1).下载安装包,解压
2).改名
3).进入安装包的conf目录下,修改slaves.template文件,添加从节点。保存。
4).修改spark-env.sh
SPARK_MASTER_IP:master的ip
SPARK_MASTER_PORT:提交任务的端口,默认是7077
SPARK_WORKER_CORES:每个worker从节点能够支配的core的个数
SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数
5).同步到其他节点上
6).启动集群
进入sbin目录下,执行当前目录下的./start-all.sh
7).搭建客户端
将spark安装包原封不动的拷贝到一个新的节点上,然后,在新的节点上提交任务即可。

猜你喜欢

转载自blog.csdn.net/wyqwilliam/article/details/81366341