Review SecondaryNamenode工作原理

前提:不使用SNN,日志文件会很大,日志大会导致集群恢复到上次关机前的状态花费很长时间,这个时候集群处于 安全模式,集群不可用。长时间处于安全模式。

目标:加快集群二次启动的速度。(减少集群二次启动的时间)

SecondaryNamenode周期性复制NameNode的FSIMAGE 和edits到本机(SecondaryNamenode本机),将两个 文件进行合并,最终生成全新的Fsimage,将最新的Fsimage发送回Namenode 。

意义:辅助NameNode合并Fsimage Edits.减小了日志的大小,加快了集群的二次启动速度。

SecondaryNamenode自己独立部署在有一个节点上。此节点的配置要与NameNode相同。

什么时候进行文件拷贝合并

1 dfs.namenode.checkpoint.period :3600 默认情况下 一小时合并一次

2、dfs.namenode.checkpoint.txns :1000000 100W次集群操作,进行一次合并

发布了241 篇原创文章 · 获赞 300 · 访问量 30万+

猜你喜欢

转载自blog.csdn.net/bbvjx1314/article/details/105446420