「HadoopのDefinitive Guideの第4版」 - 第3章のHadoop分散ファイルシステム - デザインコンセプト/ストリーム/ Javaインタフェース
その他
2020-01-02 16:12:24
訪問数: null
デザインコンセプト3.1 HDFS
- 大きなファイルを保存するために、ストリーミングモードにHDFSデータアクセス
- HDFSは、HBaseのがより良い選択であると、高い遅らせます。
- 小さな多数のファイルは、名前ノード(という名前のノード/スペース)ファイルシステムのメタデータは、それぞれが150Bytesについてを占め、メモリに保存されている何百万人/千万とき、マシンの物理メモリのサイズを考慮する必要があります
- HDFSは、その他の方法「ファイルの終わり」に書き込みデータにのみ単一のユーザーをサポートしています
3.2 HDFSの概念
- データブロック:データ(クラスタに関連する)過度に大きくない、MapReduceのマップタスクで典型的にのみHDFSデータブロックを処理し、ディスクに数回ブロック
- namenode 和 datanode
- 管理ノードの名前ノード、ファイル・システム名前空間は、ファイルシステム全体の木、(参照ファイルとブロック相互相関)の各ノード・ファイル内の各レコードに関する店舗情報のすべてのファイル情報を保存します
- データノードデータノード、
- クライアントクライアントは、ファイルシステム全体の名前ノードとインタラクティブデータノードにアクセスするには
- ブロックバッファは、頻繁にアクセスされるブロックは、明示的にメモリデータノードにロードすることができます
- 連邦HDFS、大規模なクラスタに適したが、メモリがボトルネックになることができ、HDFS Federationは名前ノードが展開させると、各ノードは、別のディレクトリに別のノードが対応としてファイルの一部のみを、管理します
- HDFSの高可用性
- 名前ノードのモード - 故障の名前ノードのシングルポイントは、Hadoop2は、「バックアップの活動を」追加しました
3.3コマンドラインモード
- 入力HadoopのFS -help getコマンドDaquanの
転載: www.cnblogs.com/zhazhaacmer/p/12133377.html