研究了几天 Hadoop+Spark 集群部署,虽然现在还是有点不懂(一脸懵B),想写下自己的总结,日后有新的发现再补充。
我安装时候的参考教程:
http://www.powerxing.com/install-hadoop/
http://www.powerxing.com/install-hadoop-cluster/
总结一下,工作分为那么几个步骤:(对于所有机器)
A:安装scala(比较简单)
B:配置hadoop:
1.创建hadoop用户
2.安装JAVA环境(主要配置 JAVA_HOME 环境变量)
3.选择一台机器作为Master (机器集群的群长),配置Master ssh ,可以ssh免密登录其他机器
4.解压hadoop到/usr/local
5.将hadoop文件夹所属者设置为hadoop
6.修改Hadoop的配置文件 ,在/etc/hadoop/下
7.修改hosts文件 (/etc/hosts),让大家能通过名字互相沟通
8.启动hadoop集群
C:配置spark:
1.解压spark
2.修改spark配置文件(slaves ........)
3.启动spark