インテリジェントな、すべての物事のインターネット時代の急速な発展に伴い、データの量は、我々が効率的かつ確実に、我々はまた、より多く得るためにデータを分析し、処理する必要がある一方で、大量のデータを保存する方法についての思考を開始する必要がある一方で、急増し始めました貴重な情報。今回は、Hadoopのを使用する必要があります。
Apache Software FoundationのHadoopのは、HDFS（Hadoopの分散ファイルシステム）のプラットフォームを分散コンピューティングオープンソースであり、MapReduceの（Hadoop2.0は、きめの細かい管理とスケジューリングタスクの能力だけでなく、サポートにYARN、糸リソーススケジューリングフレームワークを、参加しましたこのようなスパークのような他の計算フレームワーク、）システムのHadoopのコアは、基盤となる透明な分散インフラストラクチャの詳細をユーザに提供します。HDFS高いフォールト・トレランス、高延伸性、高効率、等のユーザは、Hadoopの安価なハードウェア上に展開することができるように、分散系を形成します。
Hadoopの生態
基本的なHadoopのに加えて、Hadoopのは非常に完全かつ巨大なオープンソースのエコシステムを持つように開発されました：HDFSはMapReduceのを含むさまざまなトリートメントにかけ、これに基づいて、ファイルストレージ、YARN資源管理を提供し、TEZ、Sprak、嵐など、データの利用シナリオのさまざまな要件を満たすことができます。
HDFSアーキテクチャ
HDFSのアーキテクチャ図
マスタースレーブモデルを使用してHDFSは、HDFSクラスタは、名前ノードは、マスターサーバーがファイル上のファイルシステムの名前空間とクライアントアクセス動作を管理して名前ノードと複数のデータノードで構成され、データノードデータ管理ストレージが担当しています。データの基礎となるHDFSは、フォールトトレラント冗長性の目的を達成するために、異なるデータノードに格納されたブロックを複数に切断され、そしてブロックが複製された後。あなたが参加することができ、システムビッグデータを学びたいビッグデータテクノロジーは、学習 Junyangケリ：522 189 307
MapReduceの
MapReduceのは、Googleのコンピューティングモデルの中核であり、それはクラスタサイズに複雑なプロセスを計算し、並列に実行される2つの機能を抽象度の高いプロセスです：地図と削減（「マップ（マッピング）」と「（削減）を削減します」） 。入力として、キー/値のペアをマッピングし、ローカルディスクの中間出力として書き込まキー/値のペアの別の系列を生成する機能。MapReduceのフレームワークは自動的に中間鍵値に応じてデータを集約し、キー値は、同じデータが統一機能処理を低減することです。場所や最終出力ライトHDFSとしてキー/値のペアの別のセットを生成する、入力値、マージキー後の同じ値の値としてリストに対応するファンクションキーを減少させます。
ハイブと違いHBaseの
Hadoopの基本的な生態学では、彼らはハイブとHBaseのある、2つのコンポーネントは、その違いについて話をする必要があります。ハイブは、ツールを倉庫Hadoopのデータに基づいて、データベース・テーブルにデータファイルの構造をマップし、単純なSQLクエリ機能を提供することができます、あなたはMapReduceのタスクを実行するSQL文を変換することができます。HBaseのHadoopのデータベースは、分散、スケーラブルで、大規模なデータストアです。
1.Hiveは、自身が計算したデータを格納し、それがHDFSのMapReduce、Hiveの純粋に論理的なテーブルに完全に依存していません。HDFSストア・ファイルを使用するハイブ必要性、MapReduceのコンピューティングフレームワークを使用する必要があります。
2.hiveは、パッケージをマップには、減らすと考えることができます。ハイブ意味は、ハイブSQLはマップ-削減プログラムを書くために複雑で困難に変換の書き込み良いのです。
3.hbase物理テーブルは簡単検索エンジンのインデックス、クエリ操作によって記憶された論理テーブル、大きなメモリハッシュテーブルではありません。
4.hbaseは、HDFSのパッケージとして考えることができます。彼のエッセンスデータストレージ、NOSQL（だけではなく、SQL）のデータベース、HBaseのは、HDFS、HDFS上に展開し、ランダムアクセスの面で欠点を克服します。
