大数据系列之Hadoop知识整理（五）Hdfs节点的服役与退役

Hdfs节点的服役与退役也就是节点的新增与删除。其中退役也就是把节点放在黑名单里，并且从白名单中删除，服役就是在白名单中新加入节点

具体配置如下：

黑白名单的组合情况
-------------------------
include //dfs.include（白名单）
exclude //dfs.hosts.exclude（黑名单）
include exclude Interpretation
No No 不能连接
No Yes 不能连接
Yes No 可以连接
Yes Yes 可以连接,将会退役状态。
节点的服役和退役(hdfs)
----------------------
[添加新节点]
1.在dfs.include文件中包含新节点名称,该文件在NameNode的本地目录。
[白名单]

[s10:/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt]

                s10

s11
s12
s13（新增加的服役节点）
2.在hdfs-site.xml文件中添加属性.
<property>
<name>dfs.hosts</name>
<value>/ home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt</value>
</property>


3.在NomeNode上刷新节点
$>hdfs dfsadmin -refreshNodes

4.在slaves文件中添加新节点ip(主机名)
s10
s11
s12
s13 //新添加的


5.单独启动新的节点中的datanode
[s13]
$>hadoop-daemon.sh start datanode



[退役]
1.添加退役节点的ip到黑名单,不要更新白名单.
[/ home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt]
s13


2.配置hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>/ home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt</value>
</property>


3.刷新NameNode节点
$>hdfs dfsadmin -refreshNodes


4.查看webui,节点状态在decommisstion in progress.


5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。


6.从白名单删除节点,并刷新节点
[s10:/ home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt]
...


$>hdfs dfsadmin -refreshNodes


7.从slaves文件中删除退役节点


节点的服役和退役(yarn)
----------------------
[添加新节点]
[白名单]

[s10:/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt]

                s10

s11
s12
s13（新增加的服役节点）
2.在yarn-site.xml文件中添加属性.
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/ home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt</value>
</property>


3.在NameNode上刷新节点
$>yarn rmadmin -refreshNodes


4.在slaves文件中添加新节点ip(主机名)

                s10

s11
s12
s13（新增加的服役节点）


5.单独启动新的节点中的nodemananger
[s13]
$>yarn-daemon.sh start nodemananger



[退役]

1.添加退役节点的ip到黑名单,不要更新白名单.

[/ home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt]
s13


2.配置yarn-site.xml
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/ home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt</value>
</property>


3.刷新rm节点
$>yarn rmadmin -refreshNodes


4.查看webui,节点状态在decommisstion in progress.


5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。


6.从白名单删除节点,并刷新节点


$>yarn rmadmin -refreshNodes


7.从slaves文件中删除退役节点

注意：slaves下配置的节点信息仅仅是在服务器集群启动的时候向里面配置的节点发送启动数据节点的命令，但是决定数据节点能不能连到Hadoop集群并不是slaves,而是由dfs.hosts属性指定的，存在于名称节点的本地系统中（在hdfs-site.xml中配置）。指定了真正要连接到集群中的节点。

扫描二维码关注公众号，回复： 2211275 查看本文章