checkpoint的实现过程和作用

图解版:
在这里插入图片描述
文解版:
1.辅助NameNode请求主NameNode停止 使用edits文件,暂时将新的写操作记录到一个新文件中,如edits.new
2.辅助NameNode节点从主NameNode节点获取fsimage和edits文件(采用HTTP GET)
3.辅助NameNode将fsimagee文件载入到内存,逐一执行edits文件中的操作,创建新的fsimage文件
4.辅助NameNode将新的fsimage文件发回主NameNode(使用HTTP POST)
5.主NameNode节点将从辅助NameNode节点接收的fsimage文件替换旧的fsimage文件,用步骤1产生的edits.new文件替换旧的edits文件(即改名)。同时更新fsimage文件来记录检查点执行的时间。

checkpoint的作用:
就是将中间数据做一个检查点将结果存储到一个高可用的hdfs中

猜你喜欢

转载自blog.csdn.net/weixin_43562705/article/details/89875628