Hadoopのは、ノードを削除します

 

今日2つのデータノードは、次のように操作が記録、ビジネスの操作、ダイナミック削除ノードの必要性には影響を与えないために、Hadoopクラスタ環境で削除する必要があります。

 

図1に示すように、ノードは、データ・バックアップ・ノードのための必要性を除去し、クラスタから削除されます。

コア-site.xmlのプロフィールマスターノードで次の行を追加します。

<プロパティ>

          <名前> dfs.hosts.exclude </名前>

          <値> /ホーム/ Hadoopの/ Hadoopの/ confに/除外</ value>の

</プロパティ>

 

説明

dfs.hosts.exclude:単純に複数のノードを削除

/ホーム/ Hadoopの/ Hadoopの/ confに/除外:その中で定義された除外として、どこ削除されたファイルのパスと名前を指定します。

 

ディレクトリ内に設けられた2タッチ除外は、コンテンツノードの行ごとに除去する必要があります

cloud4

cloud5

 

3、runコマンドを入力します(私はyumをインストールHadoopのインストールディレクトリが異なるパスにおいて異なるであろう使用)-refreshNodes dfsadmin Hadoopの、コマンドは名前ノードを再起動することなく、動的に更新さdfs.hostsとdfs.hosts.exclude設定をすることができます。

 実行が完了しているノードのデータノードが消え、削除されますが、tasktrackerが存在し続けるだろう、あなたは手動で停止する必要があります

 

ビンを介して視聴-report 4、および/のHadoop dfsadmin、以下の結果: 

 

構成された容量:17721082527744(16.12 TB)

現在の容量:16806607028262(15.29 TB)

DFS残り:14996775104512(13.64 TB)

使用されるDFS:1809831923750(1.65 TB)

DFS使用される%:10.77パーセント

複製されたブロックの下で:6788

破損したレプリカとブロック:0

失われたブロック:0

 

-------------------------------------------------

利用可能Datanodes:6(6合計、0死者)

 

名前:192.168.1.5:50010

ステータスを廃止:ノーマル

構成された容量:2953511657472(2.69 TB)

使用されるDFS:265079108972(246.87ギガバイト)

非DFS使用される:150286670484(139.97ギガバイト)

DFS残り:2538145878016(2.31 TB)

DFS使用される%:8.98パーセント

DFS残り%:85.94パーセント

最終接触:2011年9月8日(木)10時12分45秒CST

 

名前:192.168.1.8:50010

ステータスを廃止:進行中の廃止

構成された容量:2953511657472(2.69 TB)

使用されるDFS:228590288896(212.89ギガバイト)

非DFS使用される:150240718848(139.92ギガバイト)

DFS残り:2574680649728(2.34 TB)

DFS使用される%:7.74パーセント

DFS残り%:87.17パーセント

最終接触:2011年9月8日(木)10時12分45秒CST

 

 名前:192.168.1.7:50010

ステータスを廃止:ノーマル

構成された容量:2953511657472(2.69 TB)

使用されるDFS:266826599821(248.5ギガバイト)

非DFS使用される:150259458675(139.94ギガバイト)

DFS残り:2536425598976(2.31 TB)

DFS使用される%:9.03パーセント

DFS残り%:85.88パーセント

最終接触:2011年9月8日(木)10時12分46秒CST

 

 名前:192.168.1.9:50010

ステータスを廃止:進行中の廃止

構成された容量:2953511657472(2.69 TB)

使用されるDFS:226060701696(210.54ギガバイト)

非DFS使用される:150240718848(139.92ギガバイト)

DFS残り:2577210236928(2.34 TB)

DFS使用される%:7.65パーセント

DFS残り%:87.26パーセント

最終接触:2011年9月8日(木)10時12分45秒CST

 

 名前:192.168.1.4:50010

ステータスを廃止:ノーマル

構成された容量:2953524240384(2.69 TB)

使用されるDFS:553202110857(515.21ギガバイト)

非DFS使用される:163197603447(151.99ギガバイト)

DFS残り:2237124526080(2.03 TB)

DFS使用される%:18.73パーセント

DFS残り%:75.74パーセント

最終接触:2011年9月8日(木)10時12分46秒CST

 

 名前:192.168.1.6:50010

ステータスを廃止:ノーマル

構成された容量:2953511657472(2.69 TB)

使用されるDFS:270073113508(251.53ギガバイト)

非DFS使用される:150250329180(139.93ギガバイト)

DFS残り:2533188214784(2.3 TB)

DFS使用される%:9.14パーセント

DFS残り%:85.77パーセント

最終接触:2011年9月8日(木)10時12分44秒CST

 

 

 

図5は、例えば192.168.1.9のような状態であるノードを削除する4コマンドで見ることができます

 

ステータスを廃止:退役

プロセスにおけるDecommissioneがまだ実行されている:91から他のノードへの説明は状態が稼働中止状態であればデータは、完了した同期。

 

 

 

これまでのところ、削除ノードの動作が終了します

 

 

 

問題の概要

 

ノードを引き出しすることは、第1停止プログラムのHadoopにデータを入れなければならない場合には注意してください、それ以外のプログラムは、ノードを削除するデータを同期することで、ノード削除が実行されていたであろう。

ます。https://www.cnblogs.com/licheng/archive/2011/11/08/2241854.htmlで再現

おすすめ

転載: blog.csdn.net/weixin_33830216/article/details/92627559