「HadoopのDefinitive Guideの第4版」 - 第3章のHadoop分散ファイルシステム - デザインコンセプト/ストリーム/ Javaインタフェース

デザインコンセプト3.1 HDFS

  • 大きなファイルを保存するために、ストリーミングモードにHDFSデータアクセス
  • HDFSは、HBaseのがより良い選択であると、高い遅らせます。
  • 小さな多数のファイルは、名前ノード(という名前のノード/スペース)ファイルシステムのメタデータは、それぞれが150Bytesについてを占め、メモリに保存されている何百万人/千万とき、マシンの物理メモリのサイズを考慮する必要があります
  • HDFSは、その他の方法「ファイルの終わり」に書き込みデータにのみ単一のユーザーをサポートしています

3.2 HDFSの概念

  • データブロック:データ(クラスタに関連する)過度に大きくない、MapReduceのマップタスクで典型的にのみHDFSデータブロックを処理し、ディスクに数回ブロック
  • namenode 和 datanode
    • 管理ノードの名前ノード、ファイル・システム名前空間は、ファイルシステム全体の木、(参照ファイルとブロック相互相関)の各ノード・ファイル内の各レコードに関する店舗情報のすべてのファイル情報を保存します
    • データノードデータノード、
  • クライアントクライアントは、ファイルシステム全体の名前ノードとインタラクティブデータノードにアクセスするには
  • ブロックバッファは、頻繁にアクセスされるブロックは、明示的にメモリデータノードにロードすることができます
  • 連邦HDFS、大規模なクラスタに適したが、メモリがボトルネックになることができ、HDFS Federationは名前ノードが展開させると、各ノードは、別のディレクトリに別のノードが対応としてファイルの一部のみを、管理します
  • HDFSの高可用性
    • 名前ノードのモード - 故障の名前ノードのシングルポイントは、Hadoop2は、「バックアップの活動を」追加しました

3.3コマンドラインモード

  • 入力HadoopのFS -help getコマンドDaquanの

おすすめ

転載: www.cnblogs.com/zhazhaacmer/p/12133377.html