验证初始化安装是否成功:
1、启动namenode,在网关验证http://namenode.hostname:50070(如http://hadoop.mini01:50070)是否能正常刷出Jetty页面
namenode机上键入命令:
cd $HADOOP_HOME/sbin
hadoop-daemon.sh start namenode
jps
启动成功后访问本地页面(如http://hadoop.mini01:50070):
2、手动启动一台datanode,完成后刷新jetty页面,看是否node点和集群容量有上升
在其他集群机器上键入命令:
cd $HADOOP_HOME/sbin
hadoop-daemon.sh start datanode
jps
3、刷新jetty页面,看node数和总容量是否有增加:
设置:
1、在namenode机配置/etc/hosts,并进行分发
键入 sudo vim /etc/hosts
在文档末端加入集群所有datenode的 ip : hostname
如果在修改后,host列表没有立即生效,参考https://blog.csdn.net/hguisu/article/details/49278355寻求解决方法。
完成编辑后,将hosts分发至集群其他机器。
在namenode机键入命令:
2、在namenode机上配置ssh免密登陆
配置mini01到mini02、mini03、mini04、mini05、mini06、mini07的免密码登陆
① 在mini01上生产一对钥匙
ssh-keygen -t rsa
② 将公钥拷贝到其他节点,包括自己
ssh-copy-id hadoop.mini01
ssh-copy-id hadoop.mini02
ssh-copy-id hadoop.mini03
③ 验证免密登陆:
ssh hadoop.mini02
3、在namenode机上配置$HADOOP_HOME/etc/hadoop/slaves,将所有datanode的hostname记录下来
键入命令:
cd $HADOOP_HOME/etc/hadoop/
vim slaves
将其他所有集群机器hostname录入:
4、在namenode机上验证。
键入命令:
cd $HADOOP_HOME/sbin/
start-dfs.sh
jps
打开jetty页面,集群启动成功。
5、防火墙设置
如系统安装了防火墙,请执行以下命令:
使用命令关闭:
1) 重启后生效
关闭: chkconfig iptables off
(如需开启: chkconfig iptables on)
2) 即时生效,重启后失效
关闭: service iptables stop
(如需开启: service iptables start )