Hadoop——NameNode的职责

2019-11-27

 

 

主节点:NameNode

NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在的数据节点信息,但它并不永久保存块的位置信息,因为这些信息在系统启动时由数据节点重建。 
(*)职责:管理HDFS 
接收客户端的请求:上传数据、下载数据 
管理和维护日志(edits文件)和元信息(指的是:数据块的位置信息:fsimage文件) (
(*)HDFS的日志:edits文件 
举例: 创建目录 ---> 产生日志 
hdfs dfs -mkdir /mydemo1 
查找edits文件:find . -name edits* 
(1) edits_inprogress_0000000000000000105是二进制文件 
(2)HDFS提供一个工具:edits viewer 日志查看器,转换成一个XML文件 
hdfs oev -i edits_inprogress_0000000000000000105 -o ~/a.xml 
(*)HDFS的元信息:fsimage文件:记录数据块的位置信息、冗余信息等等 
查找fsimage文件:find . -name fsimage* 
也是二进制的 
HDFS也提供了一个工具:image viewer ,把fsimage文件转成文本、XML的文件

猜你喜欢

转载自www.cnblogs.com/JasonPeng1/p/11946342.html
今日推荐