HDFS原則Hadoopの学習

HDFS原理

 

HDFSは、3つの成分を含みます:

名前ノード、データノード、SecondaryNameNode

 

  • 名前ノードの役割は、ストアのメタデータ(ファイル名、作成日時、サイズ、アクセス権、およびブロック間のブロックマッピングなど)にあります
  • データノード本当の役割は、データを格納することです
  • SecondaryNameNode役割fsimageファイルや編集をマージ

 

 

hadoop.tmp.dir - >を/ tmp / Hadoopのルート

dfs.namenode.dfs.dir - > / DFS /名前/現在

 

see_txid:操作トランザクションID、番号は、操作の数を表示するため、各動作が1だけインクリメントされます

VERSION:ディスプレイnamespaceID CLUSTERID 

 

名前ノードの保存場所を変更します。

<設定>

  <プロパティ>

    <名前> dfs.replication </名前>

    <値> 1 </値>

  <プロパティ>

  <プロパティ>

    <名前> dfs.namenode.name.dir <名前>

    <値> /opt/module/hadoop-2.6.0/data </ value>の

  </プロパティ>

</設定>

 

 

dfs.datanode.data.dir - >を/ tmp / Hadoopのルート/ DFS /データ

 

ストレージディレクトリのデータノードを変更します。

<設定>

  <プロパティ>

    <名前> dfs.replication </名前>

    <値> 1 </値>

  <プロパティ>

  <プロパティ>

    <名前> dfs.datanode.data.dir <名前>

    <値> /opt/module/hadoop-2.6.0/data </ value>の

  </プロパティ>

</設定>

 

 

ディレクトリsecondarynamenodeを変更

ファイル:// $ {hadoop.tmp.dir} / DFS / namesecondary

 

再フォーマット

HDFS名前ノード-format -force

 

繰り返し名前ノードの書式設定の問題を説明

第一および書式設定datannodeが同じCLUSTERIDを生産名前ノードたときにファイルをフォーマットHDFSは、VERSION CLUSTERIDを変更します。

あなたがいる場合は、再起動した場合、それが持つCLUSTERIDのデータノード一貫性のない、または読者がHDFSをハングアップしますCLUSTERIDはフォーマット、名前ノードを変更します再実行

 

手動で変更する必要があります

 

おすすめ

転載: www.cnblogs.com/zhichun/p/11540929.html