5_大数据之HDFS组成详解

其他 2019-06-13 07:17:25 阅读次数: 0
一 NameNode和SecondaryNameNode

1️⃣NN和2NN工作机制

思考：NameNode中的元数据是存储在哪里的？
  首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。
  这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
  但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

12420747-568367c010d88ed4.png
1. 第一阶段： NameNode启动
 （1）第一次启动 NameNode格式化后，创建 Fsimage和 Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
 （2）客户端对元数据进行增删改的请求。
 （3） NameNode记录操作日志，更新滚动日志。
 （4） NameNode在内存中对元数据进行增删改。

  1. 第二阶段：Secondary NameNode工作
    （1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
    （2）Secondary NameNode请求执行CheckPoint。
    （3）NameNode滚动正在写的Edits日志。
    （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
    （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
    （6）生成新的镜像文件fsimage.chkpoint。
    （7）拷贝fsimage.chkpoint到NameNode。
    （8）NameNode将fsimage.chkpoint重新命名成fsimage。

2️⃣NN和2NN工作机制详解

12420747-e4d0a9316bfd159b.png

3️⃣Fsimage和Edits解析
 1. 概念

12420747-79286d37c7d7c36b.png
 2. oiv查看 Fsimage命令
 （1）查看 oiv和 oev命令 

hdfs oiv apply the offline fsimage viewer to an fsimage
     oev apply the offline edits viewer to an edits file

 （2）基本语法 : hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径
 （3）案例实操

hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml
cat /opt/module/hadoop-2.7.2/fsimage.xml

  将显示的xml文件内容打开部分显示结果如下

<inode>
  <id>16386</id>
  <type>DIRECTORY</type>
  <name>user</name>
  <mtime>1512722284477</mtime>
  <permission>xxx:supergroup:rwxr-xr-x</permission>
  <nsquota>-1</nsquota>
  <dsquota>-1</dsquota>
</inode>
<inode>
  <id>16387</id>
  <type>DIRECTORY</type>
  <name>xxx</name>
  <mtime>1512790549080</mtime>
  <permission>xxx:supergroup:rwxr-xr-x</permission>
  <nsquota>-1</nsquota>
  <dsquota>-1</dsquota>
</inode>
<inode>
  <id>16389</id>
  <type>FILE</type>
  <name>wc.input</name>
  <replication>3</replication>
  <mtime>1512722322219</mtime>
  <atime>1512722321610</atime>
  <perferredBlockSize>134217728</perferredBlockSize>
  <permission>xxx:supergroup:rw-r--r--</permission>
  <blocks>
      <block>
          <id>1073741825</id>
          <genstamp>1001</genstamp>
          <numBytes>59</numBytes>
      </block>
  </blocks>
</inode >

  思考：可以看出，Fsimage中没有记录块所对应DataNode，为什么？
  在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。
 3. oev查看Edits文件
 （1）基本语法

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

 （2）案例实操

hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml

 将显示的xml文件内容打开部分显示结果如下

<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
  <EDITS_VERSION>-63</EDITS_VERSION>
  <RECORD>
      <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
      <DATA>
          <TXID>129</TXID>
      </DATA>
  </RECORD>
  <RECORD>
      <OPCODE>OP_ADD</OPCODE>
      <DATA>
          <TXID>130</TXID>
          <LENGTH>0</LENGTH>
          <INODEID>16407</INODEID>
          <PATH>/hello7.txt</PATH>
          <REPLICATION>2</REPLICATION>
          <MTIME>1512943607866</MTIME>
          <ATIME>1512943607866</ATIME>
          <BLOCKSIZE>134217728</BLOCKSIZE>
          <CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
          <CLIENT_MACHINE>192.168.1.5</CLIENT_MACHINE>
          <OVERWRITE>true</OVERWRITE>
          <PERMISSION_STATUS>
              <USERNAME>xxx</USERNAME>
              <GROUPNAME>supergroup</GROUPNAME>
              <MODE>420</MODE>
          </PERMISSION_STATUS>
          <RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
          <RPC_CALLID>0</RPC_CALLID>
      </DATA>
  </RECORD>
  <RECORD>
      <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
      <DATA>
          <TXID>131</TXID>
          <BLOCK_ID>1073741839</BLOCK_ID>
      </DATA>
  </RECORD>
  <RECORD>
      <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
      <DATA>
          <TXID>132</TXID>
          <GENSTAMPV2>1016</GENSTAMPV2>
      </DATA>
  </RECORD>
  <RECORD>
      <OPCODE>OP_ADD_BLOCK</OPCODE>
      <DATA>
          <TXID>133</TXID>
          <PATH>/hello7.txt</PATH>
          <BLOCK>
              <BLOCK_ID>1073741839</BLOCK_ID>
              <NUM_BYTES>0</NUM_BYTES>
              <GENSTAMP>1016</GENSTAMP>
          </BLOCK>
          <RPC_CLIENTID></RPC_CLIENTID>
          <RPC_CALLID>-2</RPC_CALLID>
      </DATA>
  </RECORD>
  <RECORD>
      <OPCODE>OP_CLOSE</OPCODE>
      <DATA>
          <TXID>134</TXID>
          <LENGTH>0</LENGTH>
          <INODEID>0</INODEID>
          <PATH>/hello7.txt</PATH>
          <REPLICATION>2</REPLICATION>
          <MTIME>1512943608761</MTIME>
          <ATIME>1512943607866</ATIME>
          <BLOCKSIZE>134217728</BLOCKSIZE>
          <CLIENT_NAME></CLIENT_NAME>
          <CLIENT_MACHINE></CLIENT_MACHINE>
          <OVERWRITE>false</OVERWRITE>
          <BLOCK>
              <BLOCK_ID>1073741839</BLOCK_ID>
              <NUM_BYTES>25</NUM_BYTES>
              <GENSTAMP>1016</GENSTAMP>
          </BLOCK>
          <PERMISSION_STATUS>
              <USERNAME>xxx</USERNAME>
              <GROUPNAME>supergroup</GROUPNAME>
              <MODE>420</MODE>
          </PERMISSION_STATUS>
      </DATA>
  </RECORD>
</EDITS >

 思考：NameNode如何确定下次开机启动的时候合并哪些Edits？

4️⃣CheckPoint时间设置
（1）通常情况下，SecondaryNameNode每隔一小时执行一次。

<property>
   <name>dfs.namenode.checkpoint.period</name>
   <value>3600</value>
</property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次.

<property>
   <name>dfs.namenode.checkpoint.txns</name>
   <value>1000000</value>
   <description>操作动作次数</description>
</property>

<property>
   <name>dfs.namenode.checkpoint.check.period</name>
   <value>60</value>
   <description> 1分钟检查一次操作次数</description>
</property >

5️⃣NameNode故障处理
 NameNode故障后，可以采用如下两种方法恢复数据。
（1）将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
  1. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
scp -r xxx@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
  1. 重新启动NameNode 
sbin/hadoop-daemon.sh start namenode

（2）使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

  1. 修改hdfs-site.xml配置文件
<property>
   <name>dfs.namenode.checkpoint.period</name>
   <value>120</value>
</property>

<property>
   <name>dfs.namenode.name.dir</name>
   <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>
  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
  1. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
scp -r xxx@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./

rm -rf in_use.lock
  1. 导入检查点数据（等待一会ctrl+c结束掉）
bin/hdfs namenode -importCheckpoint
  1. 启动NameNode 
sbin/hadoop-daemon.sh start namenode

6️⃣集群安全模式

 1. 概述
12420747-f4de7fdb49eba3b8.png
 2. 基本语法 : 集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。 
（1）bin/hdfs dfsadmin -safemode get     （功能描述：查看安全模式状态）
（2）bin/hdfs dfsadmin -safemode enter   （功能描述：进入安全模式状态）
（3）bin/hdfs dfsadmin -safemode leave   （功能描述：离开安全模式状态）
（4）bin/hdfs dfsadmin -safemode wait    （功能描述：等待安全模式状态）
二 DataNode工作机制

12420747-d985fab710c110ef.png
 1）一个数据块在 DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
 2） DataNode启动后向 NameNode注册，通过后，周期性（1小时）的向 NameNode上报所有的块信息。
 3）心跳是每3秒一次，心跳返回结果带有 NameNode给该 DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个 DataNode的心跳，则认为该节点不可用。
 4）集群运行中可以安全加入和退出一些机器。

1️⃣数据完整性
 思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？
 如下是DataNode节点保证数据完整性的方法。
 1）当DataNode读取Block的时候，它会计算CheckSum。
 2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
 3）Client读取其他DataNode上的Block。
 4）DataNode在其文件创建后周期验证CheckSum,如下图所示

12420747-45b763a277b06577.png

2️⃣掉线时限参数设置
12420747-ebae8ba7151f23ea.png
 需要注意的是 hdfs-site.xml配置文件中的 heartbeat.recheck.interval的单位为毫秒， dfs.heartbeat.interval的单位为秒。 

<property>
   <name>dfs.namenode.heartbeat.recheck-interval</name>
   <value>300000</value>
</property>
<property>
   <name>dfs.heartbeat.interval</name>
   <value>3</value>
</property>

3️⃣服役新数据节点
 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

  1. 环境准备
    （1）在hadoop104主机上再克隆一台hadoop105主机
    （2）修改IP地址和主机名称
    （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）
    （4）source一下配置文件
source /etc/profile
  1. 服役新节点具体步骤
    （1）直接启动DataNode，即可关联到集群
sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start nodemanager

12420747-8e3f1a7bb3f3d2ca.png
（2）在 hadoop105上上传文件 

hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

（3）如果数据不均衡，可以用命令实现集群的再平衡

./start-balancer.sh

4️⃣退役旧数据节点
 1 添加白名单 : 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出.

（1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
（2）添加对应的主机名,案例使用的是如下主机名

hadoop102
hadoop103
hadoop104

（3）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
   <name>dfs.hosts</name>
   <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

（4）配置文件分发

xsync hdfs-site.xml

（5）刷新NameNode

hdfs dfsadmin -refreshNodes

（6）更新ResourceManager节点

yarn rmadmin -refreshNodes

（7）在web浏览器上查看

12420747-e1572552625b1208.png
（8）如果数据不均衡，可以用命令实现集群的再平衡 

./start-balancer.sh

 2. 黑名单退役 : 在黑名单上面的主机都会被强制退出。

（1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
（2）添加对应的主机名,案例使用的是如下主机名 : hadoop105
（3）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
   <name>dfs.hosts.exclude</name>
   <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

（4）刷新NameNode、刷新ResourceManager

hdfs dfsadmin -refreshNodes

yarn rmadmin -refreshNodes

（5）检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

12420747-2d69b96ba0ea4ee7.png
（6）等待退役节点状态为 decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是 3，服役的节点小于等于 3，是不能退役成功的，需要修改副本数后才能退役
12420747-ffec7a5169190715.png 

sbin/hadoop-daemon.sh stop datanode

sbin/yarn-daemon.sh stop nodemanager

（7）如果数据不均衡，可以用命令实现集群的再平衡

sbin/start-balancer.sh

注意：不允许白名单和黑名单中同时出现同一个主机名称。

5️⃣Datanode多目录配置
 1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
 2．具体配置如下(修改hdfs-site.xml文件)

<property>
       <name>dfs.datanode.data.dir</name>
       <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

转载于:https://www.jianshu.com/p/38c84f9a47b6

猜你喜欢

转载自blog.csdn.net/weixin_34032827/article/details/91238371
今日推荐
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
周排行
NEFU 117 素数个数的位数
Closest Common Ancestors (Lca,tarjan)
ELK部署
【转载】Hive笔记整理（三）
SQL语句（一）基本表的定义
关于Java web开发中的MySQL的事务语句
MFC创建自定义窗体
如何用一句话激怒程序员？
《逆袭大学》文摘——9.4 基础和应用的平衡中找到大学的节奏
【spring源码分析】@Value注解原理
每日归档
更多
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022