Hdfs的ha的介绍——千峰视频

HDFS High Availability简称HDFS的高可用ha

最上面是zookeeper,是借助zookeeper完成,对分布式进行监控,进行服务协调

中间橙色部分是共享日记的存储      

zkfc是失败控制转移器,如果发现NameNode失败了,立马切换到两一个NameNode,  切换后可以对原来的进行修复

高可用比单可用比较好,续航能力强。

衍生出高可用的背景情况:  在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该计算机或进程不可用,则整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动。

官网介绍

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

在配置之前呢,先做以下几个步骤

1、先关闭普通集群服务

2、 同时还需要对其进行备份,以免后续需要用到普通集群,备份其实就是把其copy一份出来

 备份完后,还需要做一个事情,

3、Hdfs的ha配置如下:

然后进行解压 

解压的同时,连上集群进行配置。

     

core-site.xml文件中,qf这个property是HDFS指定的命名空间

再添加一个配置

官网里面也有介绍

hdfs-site.xml文件

修改编码为UTF-8

到此,就已经配置完了。

然后就是进行分发到其他的服务器

分发完后,进行一下免登陆的配置

到此就实现了免密登录

格式化

在web上看

即使关掉了, 还是可以用 的,

读取文件任然正常。hdfs的ha的自动版到此已经完成了

发布了190 篇原创文章 · 获赞 16 · 访问量 19万+

猜你喜欢

转载自blog.csdn.net/penghao_1/article/details/104161437