HadoopHa介绍及执行流程

HadoopHa 介绍

     HA(High Available), 高可用,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,分为活动节点(Active)备用节点(Standby)。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。

 HadoopHa详情

     Hadoop1.X版本,NN是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法使用。为了解决这个问题,出现了一堆针对HDFS HA的解决方案(如:Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等)。

     hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法(分布式一致性算法)实现的HDFS HA方案,它给出了一种较好的解决思路和方案,QJM主要优势如下:
不需要配置额外的高共享存储,降低了复杂度和维护成本。
消除spof(单点故障)。
系统鲁棒性(Robust)的程度可配置、可扩展。

    基本原理就是用2N+1台 JournalNode 存储EditLog,每次写数据操作有>=N+1返回成功时即认为该次写成功,数据不会丢失了

 HadoopHa执行流程

   高可用方案中NN有两个,一个是Active状态,表示正在对外提供服务的,活跃的NN。
StandBy状态,不是对外提供服务的,随时准备替换ActiveNN.
ZKFC:监控NN所在节点的硬件设备、软件(NN)、操作系统。同时维护与ZK的通信。HA方案中只有两个NN,每个NN都有一个ZKFC.
NN  Active 状态和StandBy状态的确认:
    两个NN到ZK集群注册一个临时的ZNode,哪个先注册成功,哪个就是Active,另外一个就是StandBy.   
当ActiveNN节点故障    ActiveZKFC通知ZK删除临时ZNode   StandBy状态的ZKFC订阅这个临时ZNode的变换,若ZNode消失,立刻同时StandBy NN    StandBy NN 远程登录NN,执行Kill -9 ActiveNN   StandBy NN通知StandBy ZKFC去ZK上注册临时ZNode。
两个元数据信息如何实现快速同步?
JournalNode(JN) :高效的存储系统,能够实现数据的超快速写入与读取。JN是一个小集群(小的文件系统)。节点数需要是奇数台(1、3、5)
ActiveNN实时将FSimage和日志接入JN。StandByNN实时获取JN内部的数据,实现两个节点的实时元数据同步。

ResourceManager也存在单点问题

解决方案ResourceManager HAS

两个ResourceManager,一个Active  一个StandBy。

两个ResourceManager切换是在ZK注册临时节点。

发布了48 篇原创文章 · 获赞 54 · 访问量 21万+

猜你喜欢

转载自blog.csdn.net/qq_43791724/article/details/104801303
今日推荐