【Yarn】Yarn HA 高可用集群

2023年初一，发个博客纪念一下

1.概述

背景

ResourceManager负责资源管理和应用的调度,是YARN的核心组件,集群的主角色。

在Hadoop 2. 4之前, ResourceManager是YARN群集中的SPOF ( Single Point of Failure ,单点故障)。

为了解决RM的单点故障问题, YARN设计了一套Active/Standby模式的ResourceManager HA架构。

架构

Hadoop官方推荐方案 :基于Zookeeper集群实现YARN HA。

• 实现HA集群的关键是:主备之间状态数据同步、主备之间顺利切换(故障转移机制)

• 针对数据同步问题 ,可以通过zk来存储共享集群的状态数据。因为zk本质也是一个小文件存储系统。

• 针对主备顺利切换,可以手动,也可以基于zk自动实现。
  

2. 故障转移机制

第一种:手动故障转移

管理员使用命令手动进行状态切换。

第二种:自动故障转移