查看hdfs的fsimage和editlog

（一）名称解释

fsimage，namenode的元数据镜像文件，保存在磁盘

editlog，namenode操作日志

fstime，最近一次的checkpoint时间

metadata，一个文件存储在哪些DataNode节点的哪些位置的元数据信息

NN，namenode

SNN，secondarynamenode

Namenode主要维护两个文件，一个是fsimage，一个是editlog

（二）如何查看fsimage和editlog

查看hdfs-site.xml，查看 dfs.namenode.name.dir的配置值，我的配置为 /var/lib/hadoop-hdfs/cache/hdfs/dfs/name/current/

cd /var/lib/hadoop-hdfs/cache/hdfs/dfs/name/current/

输出为

-rw-r--r-- 1 hdfs hdfs 238K Aug 7 2017 edits_0000000000000069606-0000000000000071239

-rw-r--r-- 1 hdfs hdfs 239K Aug 7 2017 edits_0000000000000071240-0000000000000072884

-rw-r--r-- 1 hdfs hdfs 238K Aug 7 2017 edits_0000000000000072885-0000000000000074518

-rw-r--r-- 1 hdfs hdfs 289K Aug 7 2017 edits_0000000000000074519-0000000000000076555

-rw-r--r-- 1 hdfs hdfs 269K Aug 7 2017 edits_0000000000000076556-0000000000000078473

-rw-r--r-- 1 hdfs hdfs 237K Aug 7 2017 edits_0000000000000078474-0000000000000080104

-rw-r--r-- 1 hdfs hdfs 1.0M Aug 8 2017 edits_0000000000000080105-0000000000000081013

-rw-r--r-- 1 hdfs hdfs 11K Jun 3 22:34 edits_0000000000000081014-0000000000000081083

-rw-r--r-- 1 hdfs hdfs 242K Jun 3 23:34 edits_0000000000000081084-0000000000000082753

-rw-r--r-- 1 hdfs hdfs 1.0M Jun 3 23:34 edits_0000000000000082754-0000000000000082758

-rw-r--r-- 1 hdfs hdfs 1.0M Jun 4 00:02 edits_0000000000000082759-0000000000000083550

-rw-r--r-- 1 hdfs hdfs 127K Jun 4 00:35 edits_0000000000000083551-0000000000000084425

-rw-r--r-- 1 hdfs hdfs 250K Jun 4 07:52 edits_0000000000000084426-0000000000000086156

-rw-r--r-- 1 hdfs hdfs 238K Jun 4 08:52 edits_0000000000000086157-0000000000000087789

-rw-r--r-- 1 hdfs hdfs 239K Jun 4 09:52 edits_0000000000000087790-0000000000000089425

-rw-r--r-- 1 hdfs hdfs 238K Jun 4 10:52 edits_0000000000000089426-0000000000000091058

-rw-r--r-- 1 hdfs hdfs 1.0M Jun 4 11:15 edits_inprogress_0000000000000091059

-rw-r--r-- 1 hdfs hdfs 312K Jun 4 09:52 fsimage_0000000000000089425

-rw-r--r-- 1 hdfs hdfs 62 Jun 4 09:52 fsimage_0000000000000089425.md5

-rw-r--r-- 1 hdfs hdfs 317K Jun 4 10:52 fsimage_0000000000000091058

-rw-r--r-- 1 hdfs hdfs 62 Jun 4 10:52 fsimage_0000000000000091058.md5

-rw-r--r-- 1 hdfs hdfs 6 Jun 4 10:52 seen_txid

-rw-r--r-- 1 hdfs hadoop 202 Jun 3 22:33 VERSION

（三）什么是FSImage和EditsLog

fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。

对于文件来说包括了数据块描述信息、修改时间、访问时间等；

对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。

上面数据中，通过 edits_inprogress_0000000000000091059 ，可以看出fsimage文件已经加载到了最新的一个 edits_0000000000000089426-0000000000000 091058文件，仅仅只有inprogress状态的edit log未被加载。在启动HDFS时，只需要读入 fsimage_0000000000000091058以及 edits_inprogress_0000000000000091059就可以还原出当前hdfs的最新状况。但是这里又会出现一个问题，如果edit log文件越来越多、越来越大时，当重新启动hdfs时，由于需要加载fsimage后再把所有的edit log也加载进来，就会出现第一段中出现的问题了。怎么解决？HDFS会采用checkpoing机制定期将edit log合并到fsimage中生成新的fsimage。分析见（四）

（四）checkpoint机制

fsimage和edit log合并的过程如下图所示：

考虑到合并过程很耗费磁盘IO，网络IO，CPU，合并过程都放在secondarynamenode【SN】上进行。

checkpoint的触发条件：

--满足dfs.namenode.checkpoint.preiod【默认1小时】时间点

--或者满足dfs.namenode.checkpoint.txns【默认100万次txns id】

合并步骤

SNN告诉NN滚动inprogress editlog文件，这样新的操作都会写到新的editlog文件，同事，NN更新seen_txid
SNN通过http get方式从NN获取最新的fsimage和editlog
SNN将fsimage加载到内存，并从editlog中读取每一次事务，应用到fsimage，这样就产生了一个新的fsimage
SNN将新的fsimage通过http put的方式发送到NN，NN将fsimage保存为临时fsimage.ckpt文件中
NN将fsimage.ckpt文件重命名，此完成了fsimage和editlog的同步

hadoop集群配置高可用时，checkpoint机制参考（四）

（四）HA模式下Checkpointing过程分析

在HA模式下，checkpoint过程由standBy namenode进行【SBNN】，active namenode【ACNN】

HA模式下的edit log文件会同时写入多个JournalNodes节点的dfs.journalnode.edits.dir路径下，JournalNodes的个数为大于1的奇数，类似于Zookeeper的节点数，当有不超过一半的JournalNodes出现故障时，仍然能保证集群的稳定运行。

同步过程如图：

思考：同步使用http，而不是RPC，为什么呢？

（五）查看fsimage文件

启动

hdfs oiv -i fsimage_0000000000000092691

屏幕输出

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading 15 strings

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading 4592 inodes.

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading inode references

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loaded 0 inode references

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading inode directory section

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loaded 1887 directories

18/06/04 11:58:08 INFO offlineImageViewer.WebImageViewer: WebImageViewer started. Listening on /127.0.0.1:5978. Press Ctrl+C to stop the viewer.

执行

hdfs dfs -ls -R webhdfs://127.0.0.1:5978/

输出内容：

drwx------ - cloudera cloudera 0 2017-08-07 19:08 webhdfs://127.0.0.1:5978/user/cloudera/.Trash

drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802

drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user

drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive

drwx------ - cloudera cloudera 0 2017-08-06 23:38 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse

drwx------ - cloudera cloudera 0 2017-08-07 17:19 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db

drwxrwxrwx - cloudera supergroup 0 2017-08-07 00:45 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info

-rwxrwxrwx 1 cloudera supergroup 5498008 2017-08-07 00:45 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info/000000_0

drwxrwxrwx - cloudera supergroup 0 2017-08-07 17:09 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info1502096965787

drwxrwxrwx - cloudera supergroup 0 2017-08-07 17:09 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info1502097580348

导出fsimage到xml文件命令

hdfs oiv -p XML -i fsimage_0000000000000092691 -o fsimage.xml

（六）导出editlog文件到xml

hdfs oev -i edits_0000000000000091059-0000000000000092691 -o edit.xml

部分文件内容

<?xml version="1.0" encoding="UTF-8"?>

<EDITS>

<EDITS_VERSION>-60</EDITS_VERSION>

<OPCODE>OP_START_LOG_SEGMENT</OPCODE>

<DATA>

</DATA>

</RECORD>

<DATA>

<PATH>/user/spark/applicationHistory/.1b3d5ff3-4187-42b7-9d06-0b4224e1b988</PATH>

<CLIENT_NAME>DFSClient_NONMAPREDUCE_-2124177401_1</CLIENT_NAME>

<CLIENT_MACHINE>127.0.0.1</CLIENT_MACHINE>

<PERMISSION_STATUS>

<USERNAME>spark</USERNAME>

<GROUPNAME>supergroup</GROUPNAME>

</PERMISSION_STATUS>

<RPC_CLIENTID>3143bf48-a33d-4800-ad82-3579e2c40b43</RPC_CLIENTID>

<RPC_CALLID>8108</RPC_CALLID>

</DATA>

</RECORD>

<OPCODE>OP_CLOSE</OPCODE>

<DATA>

<PATH>/user/spark/applicationHistory/.1b3d5ff3-4187-42b7-9d06-0b4224e1b988</PATH>

<CLIENT_NAME></CLIENT_NAME>

<CLIENT_MACHINE></CLIENT_MACHINE>

<OVERWRITE>false</OVERWRITE>

<PERMISSION_STATUS>

<USERNAME>spark</USERNAME>

<GROUPNAME>supergroup</GROUPNAME>

</PERMISSION_STATUS>

</DATA>

</RECORD>

<OPCODE>OP_RENAME_OLD</OPCODE>

<DATA>

<SRC>/user/hue/.cloudera_manager_hive_metastore_canary/hive_HIVEMETASTORE</SRC>

<DST>/user/hue/.Trash/Current/user/hue/.cloudera_manager_hive_metastore_canary/hive_HIVEMETASTORE1528084369048</DST>

<RPC_CLIENTID>683845ea-3b6b-4419-9d9d-144a85344b40</RPC_CLIENTID>

<RPC_CALLID>4691</RPC_CALLID>

</DATA>

</RECORD>

<OPCODE>OP_END_LOG_SEGMENT</OPCODE>

<DATA>

</DATA>

</RECORD>

</EDITS>

在输出的xml文件中，每个RECORD记录了一次操作，比如图中的OP_ADD代表添加文件操作，OP_MKDIR代表创建目录操作。里面还记录了文件路径（PATH），修改时间（MTIME）、添加时间（ATIME）、客户端名称（CLIENT_NAME）、客户端地址（CLIENT_MACHINE）、权限（PERMISSION_STATUS）等非常有用的信息。

查看hdfs的fsimage和editlog

猜你喜欢