分布式文件系统HDFS详解

一、分布式文件系统HDFS存储架构 

1、HDFS结构与架构

HDFS结构： 

NameNode是HDFS的心脏，它管理和维护着整个HDFS文件系统，主要作用有：

• 负责接收用户的操作请求；
• 负责管理文件系统命名空间（namespace）、集群配置信息以及存储块的复制等；
• 负责文件目录树的维护以及文件对应block列表的维护；
• 负责管理block与DataNode之间的关系；

在HDFS中，FsImage和Edit Log是NameNode两个非常重要的文件。他们存储在NameNode节点的本地磁盘上，这就是NameNode的元数据信息。

其中，FsImage文件用来记录数据块到文件的映射、目录或文件的结构、属性等信息，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的信息。

Edit Log文件记录了对文件的创建、删除、重命名等操作日志，也就是自最后一次检查点之后所有针对HDFS文件系统的操作都会记录在Edit Log文件中。例如，在HDFS中创建一个文件， Namenode就会在Edit Log中插入一条记录；同样地，修改文件的副本系数也会在Edit log中插入一条记录。

HDFS分布式文件系统架构：