hdfs ha的操作步骤

       hadoop的ha操作流程,本操作是利用ambari完成,如果不是使用ambari,可以参考,要保证其中命令的执行顺序。如果是手动安装hadoop的ha时,可以参考以下执行的命令,但是要保证命令执行的顺序。

 

       hadoop2.0以后的版本支持HA,如图安装HDFS的HA,保证节点在三个以上。

       1. 安装流程从下图开始:

 

    2. 点击后跳转到如下页面,输入Nameservice ID,要牢记ID,用于查看dfs:

     3. 选择要添加为namenode的节点,一般这些节点都是在hadoop集群节点(同时部署了ZooKeeper Server组件)中选取:

     4. 点击Next后,页面显示了hdfs的配置,dfs.joutnalnode.edits.dir是文件的存放的路径,建议大于100G空间的额外挂载的磁盘上,如/hadoop/disk1。其他保持默认即可。

 

  5. 如下页面是需要在namenode节点上进行操作的,保存namespace,按页面提示进行操作即可,其中naster.netposa表示NameNode节点:

  登录NameNode节点(主机名为master.netposa),依次执行以下指令:

     1) sudo su –l hdfs –c ‘hdfs dfsadmin –safemode enter’

      2) sudo su –l hdfs –c ‘hdfs dfsadmin -saveNamespace’

    6. 执行结束后,点击Next跳转到如下页面,等待完成,时间稍微有点儿长:

 

     7.  跳转后登陆到原namenode节点,执行页面中的指令,其中hadoopslave1表示原NameNode节点(这个页面是在安装其他集群时截取的,可能有出入,正常的namenode host应该是master.netposa,页面没什么差别):

登录Namenode节点(主机名为hadoopslave1,本图在其他安装过程中截取,和上面不一样),依次执行以下指令:

      1) sudo su –l hdfs –c ‘hdfs namenode -initializeSharedEdits’

    8. 执行后可以点击Next,跳转到以下页面,等待ZooKeeper Servers和NameNode启动成功:

 

    9. 点击“Next”后跳转到下图页面,其中hadoopslave1表示原NameNode节点,slave161表示新增加的NameNode(这个页面截取是在安装其他集群时的,正常情况下应该是master.netposa表示原NameNode节点,slave1.netposa表示新增加的NameNode)。

页面提示:

    1)登录原NameNode节点(主机名为hadoopslave1,图在其他集群部署过程中截取的);

    2)执行以下命令:

         sudo su –l hdfs –c ‘hdfs zkfc -formatZK’

    3)登录新增加的NameNode(主机名为slave161,本图在其他集群安装过程中截取)

    4)执行以下命令:

          sudo su –l hdfs –c ‘hdfs namenode -bootstrapStandby’

    

   10.  其中新增加的namenode节点执行完后,终端打印出以下信息:

     

    11. 完成后页面出现以下提示:

 

   12. 如下页面执行完成后,整个hdfs的ha启动完成:

   

 

 

猜你喜欢

转载自amazon10.iteye.com/blog/2296862