Hadoopのを実行すると、データノード(*)を追加および削除します


新増加Hadoopのノード:

実行するのHadoop いくつかの新しいクラスタの追加ノード

1. 新しいノードでの展開のJava /のHadoopプログラム、環境変数を設定します

2. から新しいノードにユーザを増加させるマスタのコピーid_rsa.pubおよび構成のauthorized_keys

3. 新しいノードセットの/ etc / hostsを、そして限りマシンとしてマスターホスト

/ etc / hostsファイル

127.0.0.1 localhostの

10.10.10.101ノード1
10.10.10.102ノード2
10.10.10.103ノード3
10.10.10.104ノード4

4.  該当するディレクトリの新規ノードの確立、および所有者を変更し、それ以外の場合はノードと見なされますが削除されている下のノード4〜/ tmpディレクトリの内容は、作成されています。

5.マスタスレーブのファイルノード(*注:構成のみ上記缶名前ノード)と比較して増加

の/ etc /マスターズ

ノード1

の/ etc /スレーブ

ノード2

ノード3

ノード4

6. 新しいノードの開始データノードtasktracker

localadminする@ノード4:〜/ Hadoopの-0.20.2 /ビン$ hadoop-daemon.sh開始データノード

localadminする@ノード4:〜/ Hadoopの-0.20.2 /ビン$ hadoop-daemon.sh開始tasktracker

チェックし「JPS」を使用してください。

のためのブロック等化ブロック

ではHDFS-site.xmlの中で増加するように設定バランスの帯域幅の、デフォルトでは唯一である1M

<プロパティ> 
    <名前> dfs.balance.bandwidthPerSec </名前> 
    <値> 10485760 </ value>の 
    <説明>は、
        各データノードは、1秒あたりのバイト数の用語でバランス目的のために利用できる最大帯域幅を指定します。
    </記述> 
</ property>の

次のコマンドを実行します。

Hadoopの/ binに/ start-balancer.sh -threshold 3

バランスの取れた10個のノード、モバイル400Gのデータが、それは私程度かかっ3 のGe Xiaoshiを

クラスタはバランスが取れています。終了...
バランスは2.9950980555555557時間を要しました

================================================== ==========

Hadoopのノードを削除します。

 
Hadoopのは 提供する 使用停止の 特性は、以下のステップに従って操作することができます。

1.  ではHadoopのconfには、ディレクトリを生成するが、除外ファイルは/ etc / NN-リスト除外を、書き込む必要が削除したノードを

    ライン・ノード、例えば:

ノード4

2.  では HDFS-site.xmlの 増加構成:

<プロパティ>    
    <名前> dfs.hosts.exclude </名前>    
    <値> は/ etc / NN-除外リスト </ value>の   
</ property>の

3.  コピークラスタ内の各ノードにファイルを

4.  実行するHadoop dfsadmin -refreshNodesコマンド、それがバックグラウンドになりますブロックブロックを移動

    削除されたノードは、他に移動ノード上で

以下の2つのを参照する方法は廃止し状態:

    Hadoop dfsadminの-report

    http://10.10.10.101:50070/dfsnodelist.jsp

    実行の使用停止を、それが表示されます。

    ステータスを廃止:進行中の廃止

    実行が完了した後、それが表示されます:

    ステータスを廃止:退役

ます。https://www.cnblogs.com/licheng/archive/2011/11/10/2244804.htmlで再現

おすすめ

転載: blog.csdn.net/weixin_34245082/article/details/92627663