hadoopHA模式

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cuicanxingchen123456/article/details/85046267

hadoop HA模式

两个namenode

将edit文件在其他节点上备份(基于zookeeper实现qjournal edits日志管理。实现日志分布式一致性)

可用性和可靠性提高,但是可移植性降低

使用线程池同步往日志管理中发送edit,多数台写入成功,即能保证能往里面写入不一定全部写成功

使用ZKFC管理active namenode和 standby namenode  如果active的故障了则切换到standby 

在切换之前,一定要确保active是死了,standby ZKFC使用ssh kill -9 杀死 active 确保active已经死了,如果ssh超时了调用用户自定义的shell脚本

往standby上注册一把锁标记为standby转变成了active

 逻辑名称:nameservice下有两个namenode,客户端访问namesercvice  然后通过配置文件找到activie

YARN的高可用:

ResourceManager节点进行备份

namenode的水平扩展

扩展文件目录的时候,所有的datanode都可以为这两个目录节点所用。

通过blockpool-ip号来区分哪个块是属于哪个目录的

通过url访问目录不同(如/japanese/   /art-x/),读取不同的目录

namenode安全模式:

猜你喜欢

转载自blog.csdn.net/cuicanxingchen123456/article/details/85046267
今日推荐