HADOOP集群安装完成后的设置

验证初始化安装是否成功:

1、启动namenode,在网关验证http://namenode.hostname:50070(如http://hadoop.mini01:50070)是否能正常刷出Jetty页面

namenode机上键入命令:

cd $HADOOP_HOME/sbin

hadoop-daemon.sh start namenode

jps

启动成功后访问本地页面(如http://hadoop.mini01:50070):

2、手动启动一台datanode,完成后刷新jetty页面,看是否node点和集群容量有上升

在其他集群机器上键入命令:

cd $HADOOP_HOME/sbin

hadoop-daemon.sh start datanode

jps

3、刷新jetty页面,看node数和总容量是否有增加:

设置:

1、在namenode机配置/etc/hosts,并进行分发

        键入 sudo vim /etc/hosts

        在文档末端加入集群所有datenode的  ip : hostname

        

如果在修改后,host列表没有立即生效,参考https://blog.csdn.net/hguisu/article/details/49278355寻求解决方法。

完成编辑后,将hosts分发至集群其他机器。

在namenode机键入命令:

 

2、在namenode机上配置ssh免密登陆

配置mini01到mini02、mini03、mini04、mini05、mini06、mini07的免密码登陆 

① 在mini01上生产一对钥匙 

ssh-keygen -t rsa 

② 将公钥拷贝到其他节点,包括自己 

ssh-copy-id hadoop.mini01 

ssh-copy-id hadoop.mini02 

ssh-copy-id hadoop.mini03 

③ 验证免密登陆:

ssh hadoop.mini02

 

3、在namenode机上配置$HADOOP_HOME/etc/hadoop/slaves,将所有datanode的hostname记录下来

键入命令:

cd $HADOOP_HOME/etc/hadoop/

vim slaves

将其他所有集群机器hostname录入:

 

4、在namenode机上验证。

键入命令:

cd $HADOOP_HOME/sbin/

start-dfs.sh

jps

打开jetty页面,集群启动成功。

5、防火墙设置

如系统安装了防火墙,请执行以下命令:

使用命令关闭:

1) 重启后生效
                关闭: chkconfig iptables off 

(如需开启: chkconfig iptables on) 

2) 即时生效,重启后失效
                关闭: service iptables stop

(如需开启: service iptables start ) 

 

猜你喜欢

转载自blog.csdn.net/yumi6666/article/details/81735638
今日推荐