Hadoop+Spark 集群部署

研究了几天 Hadoop+Spark 集群部署,虽然现在还是有点不懂(一脸懵B),想写下自己的总结,日后有新的发现再补充。


我安装时候的参考教程:

http://www.powerxing.com/install-hadoop/
http://www.powerxing.com/install-hadoop-cluster/

总结一下,工作分为那么几个步骤:(对于所有机器)

A:安装scala(比较简单)

B:配置hadoop:

1.创建hadoop用户

2.安装JAVA环境(主要配置 JAVA_HOME 环境变量)

3.选择一台机器作为Master (机器集群的群长),配置Master ssh ,可以ssh免密登录其他机器

4.解压hadoop到/usr/local

5.将hadoop文件夹所属者设置为hadoop

6.修改Hadoop的配置文件 ,在/etc/hadoop/下

7.修改hosts文件 (/etc/hosts),让大家能通过名字互相沟通

8.启动hadoop集群

C:配置spark:

1.解压spark

2.修改spark配置文件(slaves ........)

3.启动spark


猜你喜欢

转载自blog.csdn.net/qq_21063873/article/details/70228221