namenode和secondary namenode之间的联系和区别

这里写图片描述
1、namenode是存储客户端想hdfs发送增删改查的要求的元数据的。
2、secondary namenode是存储namenode的元数据的,防止namenode宕机产生的数据丢失。
3、一条元数据打大小是150byte,namenode的存储空间大约是128G,secondary namenode的内存会稍微大一些。
4、因为这样的内存机制,所以hdfs不适合存储大量小数据,使用效率较低。

a、内存中有一份完整的元数据(内存meta data)
b、磁盘中有一份完整的元数据镜像(fsimage)文件(在namenode的工作目录中)
c、用于衔接内存meta data和持久化元数据镜像fsimage之间的操作日志(edits文件)

5、每隔一段时间,secondary namenode将namenode上积累的edits(日志文件)和一个最新的fsimage下载到本地,并加载骚内存进行merge(这个是checkpoint)
6、要是namenode挂了,secondary namenode是不能够当作namenode进行使用的,因为secondary namenode中没有元数据更新机制。
7、因为namenode和secondary namenode之间的信息交换不是实时的,所以在namenode宕机的时候也会有数据丢失,不过可以修复大量的数据。

猜你喜欢

转载自blog.csdn.net/jin__nan/article/details/80456727