Hadoop高可用原理及环境搭建 Hadoop完全分布式搭建全过程

一、说明

  本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充,基于完全分布式做高可用搭建。。。。。。

二、原理

  Hadoop1.X中只有一个NameNode,所有元数据信息都被这个NameNode管理,存在两个问题:单点故障内存压力大,所以在Hadoop2.X中对两个存在的问题分别有对应的解决方案:

  对于单点故障,Hadoop2.X中实现主备模式,有两个NameNode节点,去除之前Hadoop1.X中的SecondaryNameNode节点,用actived和standby状态区分主备机,也就是有两台NameNode主机,一台对外提供服务(actived),另一台处于待命状态(standby),两个NameNode节点有一下几点需要说明:

  1、DataNode共享:两台NameNode存储数据都在同样的DataNode集群

  对于两台主机的状态监测,采用ZK(zookeeper)管理,ZK中ZKFC(zookeeper failover controller)对两台NameNode进行健康检测,ZKFC对应NameNode节点会在zookeeper中抢占锁(向zookeeper创建一个节点,如果已经被创建,说明对方已经抢占锁,自己只能是standby状态)来决定自己处于actived状态还是standby状态,如果

猜你喜欢

转载自www.cnblogs.com/zmanzi/p/10821161.html