HDFS High Availability简称HDFS的高可用ha
最上面是zookeeper,是借助zookeeper完成,对分布式进行监控,进行服务协调
中间橙色部分是共享日记的存储
zkfc是失败控制转移器,如果发现NameNode失败了,立马切换到两一个NameNode, 切换后可以对原来的进行修复
高可用比单可用比较好,续航能力强。
衍生出高可用的背景情况: 在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该计算机或进程不可用,则整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动。
官网介绍
在配置之前呢,先做以下几个步骤
1、先关闭普通集群服务
2、 同时还需要对其进行备份,以免后续需要用到普通集群,备份其实就是把其copy一份出来
备份完后,还需要做一个事情,
3、Hdfs的ha配置如下:
然后进行解压
解压的同时,连上集群进行配置。
core-site.xml文件中,qf这个property是HDFS指定的命名空间
再添加一个配置
官网里面也有介绍
hdfs-site.xml文件
修改编码为UTF-8
到此,就已经配置完了。
然后就是进行分发到其他的服务器
分发完后,进行一下免登陆的配置
到此就实现了免密登录
格式化
在web上看
即使关掉了, 还是可以用 的,
读取文件任然正常。hdfs的ha的自动版到此已经完成了