Hadoopが引退し、新しいデータノードとデータノードを追加します

新データノード

0需要
のビジネスの成長には、データ量の増大、もはやデータ・ストレージのニーズを満たすことができないオリジナルのデータノードの容量は、データを動的に元のクラスタごとに新しいノードを追加する必要があります。
1.環境の準備
(1)hadoop03ホスト上次いでhadoop04ホストのクローンを作成
(2)IPアドレスとホスト名を変更する
(3)元のファイルは、HDFSファイルシステム(/hadoop/module/hadoop-2.7.7/dataを保持削除そして、)ログ
について(4)ソース・プロファイルを

[linyouyi @ hadoop04 hadoop- 2.77 ] $ソースは/ etc / profile

2.新しいサービスノード特定ステップは、
(1)直接データノードを起動するには、クラスタに結合させることができます

[linyouyi @ hadoop04のHadoop-2.7.7] $のsbinに/ Hadoopのデーモン。SH データノードを開始
[linyouyi @ hadoop04のHadoop -2.7.7] $のsbinに/糸デーモン。shのノードマネージャを開始

(2)hadoop04にファイルをアップロード

[linyouyi @ hadoop04のHadoop-2.7.7] $のHadoopのFS -put /hadoop/module/hadoop-2.7.7/LICENSE.txt /

データがバランスされていない場合(3)は、コマンドのリバランスクラスタを使用することができます

[linyouyi @ hadoop04のHadoop-2.7.7] $の./start-balancer。SH 
へのロギング、バランサを開始 /hadoop/module/hadoop-2.7.7/logs/hadoop-linyouyi-balancer- hadoop01.out 
移動されるバイト数がすでにバイトを移動するバイト左に移動タイムスタンプ反復#を

  (4)datanodesを表示するブラウザ

引退したデータノード

ホワイトリストに追加
ホストノードのホワイトリストに追加が名前ノードにアクセスすることを許可されている、ホストノードがホワイトリストにない、それが終了します。
次のように具体的な手順ホワイトリストが設定されている:
(1)名前ノードdfs.hostsディレクトリ/hadoop/module/hadoop-2.7.7/etc/hadoopでファイルを作成します

[linyouyi @ hadoop01のHadoop] $ PWD 
/hadoop/module/hadoop-2.7.7/etc/ のHadoopを
[linyouyi @ hadoop01のHadoop] $のタッチdfs.hosts 
[linyouyi @ hadoop01のHadoop] $ viのdfs.hostsの
#は(次のホスト名を追加しますhadoop04を追加しないでください)
hadoop01 
hadoop02 
hadoop03

(2)名前ノードdfs.hosts性プロファイルHDFS-site.xmlで増加

<プロパティ> 
<名前> dfs.hosts </名前> 
<値> /hadoop/module/hadoop-2.7.7/etc/hadoop/dfs.hosts </ value>の
</ property>の

(3)ドキュメントの各ノードに配布

[linyouyi @ hadoop01のHadoop] $のSCP HDFS-site.xmlのlinyouyiする@ hadoop02:/ Hadoopの/モジュール/ hadoop- 2.77の/ etc / Hadoopの/ 
[linyouyi @ hadoop01のHadoop] $のSCPの HDFS-site.xmlのlinyouyi hadoop03 @:/ Hadoopの/モジュール/ hadoop- 2.77の/ etc / Hadoopの/ 
[linyouyi @ hadoop01のHadoop] $のSCPの HDFS-site.xmlのlinyouyi hadoop04 @:/ Hadoopの/モジュール/ hadoop- 2.77の/ etc / Hadoopの/

(4)リフレッシュ名前ノード

[linyouyi @ hadoop01のHadoop-2.7.7] $のHDFSのdfsadmin - refreshNodesは
成功したノードを更新します

(5)ノードのResourceManagerを更新します

【linyouyi @ hadoop01のHadoop-2.7.7] $糸rmadmin - refreshNodes
 17 / 06 / 24  141711 INFO client.RMProxy:hadoop02 /時のResourceManagerに接続192.1681.1038033

Webブラウザ上で(6)表示datanodes

データがバランスされていない場合は(7)、コマンド・リバランスクラスタを使用することができます

[linyouyi @ hadoop01 sbinに] $の./start-balancer。SH 
へのロギング、バランサを開始 /hadoop/module/hadoop-2.7.7/logs/hadoop-linyouyi-balancer- hadoop01.out 
移動されるバイト数がすでにバイトを移動するバイト左に移動タイムスタンプ反復#を

引退したブラックリスト
のホストブラックリストの一番上には終了するように強制されます。
1. /hadoop/module/hadoop-2.7.7/etc/hadoopのディレクトリ名前ノードにdfs.hosts.excludeファイルを作成します。

[linyouyi @ hadoop01のHadoop] $ PWD 
/hadoop/module/hadoop-2.7.7/etc/ のHadoopを
[linyouyi @ hadoop01のHadoop] $のタッチdfs.hosts.exclude 
[linyouyi @ hadoop01のHadoop] $ viの dfs.hosts.exclude

次のホスト名(引退するノード)を追加
hadoop04
2。名前ノードdfs.hosts.excludeプロパティプロファイルHDFS-site.xml内の増加

<プロパティ> 
<名前> dfs.hosts.exclude </名前> 
<値> /hadoop/module/hadoop-2.7.7/etc/hadoop/dfs.hosts.exclude </ value>の
</ property>の

3。名前ノードを更新、のResourceManagerをリフレッシュ

【linyouyi @ hadoop01のHadoop-2.7.7] $のHDFSのdfsadmin - refreshNodesが
成功したノードを更新

[hadoop01のHadoop @ linyouyi $糸rmadmin -2.7.7] - refreshNodes
 17 / 06 / 24  145556 INFO client.RMProxy:に接続しますhadoop02 /時のResourceManager 172.16.2 0.1038033

Webブラウザをチェックしてください4.、ノードの状態は、データ・ブロックは、他のノードにノードをコピーされ、進捗状況(廃止)での運用停止を引退している
ノードのステータスが(すべてのブロックが完成コピーされた)退役退職を待っている5、およびノードのノードを停止しますエクスプローラ。注意:コピーの数は、ノードにサービスを提供すると3以下であり、3を退役させる成功引退されていない場合は、コピーの数を変更する必要があります

[linyouyi @ hadoop04のHadoop-2.7.7] $のsbinに/ Hadoopのデーモン。SH データノードを停止する
停止データノードを
[linyouyi @ hadoop04のHadoop -2.7.7] $のsbinに/糸デーモン。SHの停止ノードマネージャ

6.データがバランスされていない場合は、コマンドのリバランスクラスタを使用することができます

[linyouyi @ hadoop01のHadoop-2.7.7] $のsbinに/開始バランサ。SH  
へのロギング、バランサを開始 /hadoop/module/hadoop-2.7.7/logs/hadoop-linyouyi-balancer- hadoop01.out 
移動されるバイト数がすでにバイトを移動するバイト左に移動タイムスタンプ反復#を

注意:白と黒のリストは、同じホスト名には表示されないようにしてください

おすすめ

転載: www.cnblogs.com/linyouyi/p/11301654.html
おすすめ