「ビッグデータ技術と原則、」第二版 - 第二位の章のHadoopデータ処理フレームワーク

2.1概要

1. ApacheのHadoopのは、コアファイルなどの優れたクロスプラットフォーム機能、で、Java開発プラットフォームを分散コンピューティングオープンソースである基づいていたMapReduceとHDFSで、HDFSは、GoogleのファイルシステムのGFSのオープンソース実装に基づいており、一般的なハードウェア環境を目指しています優れた耐障害性と高い読み取りおよび書き込み速度を持つ分散ファイルシステム。MapReduceのは、分散システムの原則の基本的な実装を知らなくても、並列にプログラムをユーザーに許可する、のMapReduceのGoogleのオープンソース実装に基づいて開発されています。
2. 分散ストレージ、分散処理
3. 高信頼性、高効率、高拡張性、高い耐障害性、低コスト、Linux上で実行するには、言語発達のプログラミングの様々なサポートしています。

2.3インストールと使用

1. スタンドアローンモード：追加の設定を実行することができずにHadoopのは、デフォルト以外のモード（ローカルモード）を配布しました。デバッグが容易な単一である非分散型Javaプロセス、。
2. 疑似分散モード：のHadoopを実行するJavaプロセスを分離するためのHadoop処理、疑似分散モード動作で単一のノード上で実行することができ、いずれかの名前ノードとして、データノードとして使用することができ、同時に、HDFS内のファイルを読み取ります。
3. 分散モード：クラスタ環境を使用する複数のノードは、Hadoopのを実行します。
4. シェルは、さまざまな方法の3種類を区別します：
   1. HadoopのFSは、ローカルファイルシステムとHDFSファイルシステムのような任意の別のファイルシステムに適用されます
   2. ちょうどHDFSファイルシステム用のHadoop DFS
   3. 同じ効果を持つHDFS DFS HadoopのDFSコマンドのみHDFSに適用されます