经过一下午的尝试,终于把这个集群的搭建好了,搭完感觉也没有太大的必要,就当是学习了吧,为之后搭建真实环境做基础。
以下搭建的是一个Ha-Federation-hdfs+Yarn的集群部署。
首先讲一下我的配置:
四个节点上的启动的分别是:
这样做纯粹是因为电脑hold不住那么虚拟机了,其实这里所有的节点都应该在不同的服务器上。简单的说,就是117和119做active namenode,118和120做standby namenode,在118.119.120上分别放datanode和journalnode。
此处省略一万字,各种配置好之后。。遇到的问题和记录如下:
1.启动 journalnode,这个journalnode话说我也不是太明白他是干嘛的~~,后续研究吧。在各个节点上启动journalnode:
2. 格式化namenode时报错:(最后查出来是没有关防火墙。。。免密码登陆不代表不用关防火墙)
格式化成功!
3.开启namenode:
4.格式化standby namenode
5.开启standby namenode
在web上 打开以后二个显示都是standy状态:
使用这个命令将nn1切换为active状态:
bin/hdfs haadmin -ns hadoop-cluster1 -transitionToActive nn1
另外两个一样的道理:
开了仨,就是之前预设好的192.168.1.118,192.168.1.119和192.168.1.120
启动yarn
也是可以看到有三个datanode
最后总结一下吧...... 自学大数据的话,有一个简单的部署就足够了,能够让你写好的程序放入hdfs中跑就可以了,这样的集群应该是在最后,或者需要的时候再去详细的做研究,抓紧进入之后的阶段吧~~