ビッグデータ分析プラットフォームを言及し、Hadoopのシステムを言わなければならない、Hadoopの、それは歴史の10年以上を持って、物事の多くは、変更0.xのバージョンから現在のバージョン2.6に進化してきました。私は2013年以降の時代のためのHadoopプラットフォームとして定義されて置くの後、これはHadoopを言わなかったのではなく、NoSQLの（だけでなくSQL）など、他の補完的な選択があるので。誰もがいくつかの関連のオープンソースコンポーネントに関する簡単な話を持っているために道を開くために。
背景論文
Hadoopの： オープンソースデータ分析プラットフォームは、大きなデータ対処するために、信頼性の高いストレージおよび処理の（コンピュータに大きいが格納することができない、コンピュータが必要とされる時間内に処理することができません）。HDFS、MapReduceの基本的な構成要素を含む適切な非構造化データ、。
HDFS：サーバー間でデータストレージ用弾性システムを提供します。
MapReduceの：キー値データの再配置を使用して、データの読み出し、データのマッピング（地図）、および単純化されたデータは、最終的な出力を与えるため（削減）：センシング技術は、標準化されたデータ処理の流れ位置を提供します。
アマゾン弾性地図（EMR）の削減：上記から成るアマゾン弾性計算クラウド（EC2）とシンプルStrorageサービス（S3）によるネットワーク規模インフラ上で稼働するホスト型ソリューションを、。あなたは一度または頻度の低い大規模なデータ処理が必要な場合は、EMRはあなたのお金を節約することができます。しかし、EMRは、高度データS3で動作するように最適化され、より長い待ち時間を持っています。
Hadoopのは、拡張システム技術のシリーズが含まれ、これらの技術は、主にSqoop、水路、ハイブ、豚、Mahoutの、Datafu HUE、などが挙げられます。
豚：大規模なデータセットを分析するためのプラットフォームは、一緒にこれらのプログラムの評価のための高レベル言語および発現データインフラストラクチャからプラットフォーム解析プログラムを形成します。
ハイブ：言語を使用して、SQLのような照会言語を提供するHadoopのためのデータウェアハウスシステムのために、容易に集約することができるデータ、特定のクエリと分析。
HBaseのは：分散し、スケーラブルで、大規模なデータリポジトリに、ランダム、リアルタイムの読み取り/書き込みアクセスをサポートしています。
Sqoop：例えばリレーショナルデータベースなどのデータベースとの間のApache Hadoopの構造化されたデータストアと転送データのために設計された大量のデータを効率的に伝送するためのツール。
水路：効率的に、集計を収集ログ大量のデータを移動するための分散、信頼性、利用可能なサービス、。
ZooKeeperの：、命名分散同期を提供し、グループのサービスを提供し、設定情報を維持するための集中管理サービス。
Clouderaの：例最大の展開に、Hadoopの最も成形をリリース。それは強力な展開、管理および監視ツールを提供します。プロジェクト開発とインパラがリアルタイムでビッグデータを扱うことができました。
Hortonworks：100％オープンソースのApache Hadoopのプロバイダを使用してください。開発およびWindows ServerとAzureのを含めプラットフォームを含め、Hadoopの上でネイティブに実行することを可能にするコアバックボーンに多くの拡張機能を提出しました。
MAPR：より良いパフォーマンスと使いやすさ、代わりにHDFSのローカルUnixファイルシステムをサポートしています。そのようなスナップショットイメージまたはステートフル高可用性、障害回復特性を提供します。Apacheのドリルプロジェクトをリードする目的は、リアルタイム処理を提供するために、SQLに似たクエリを実行することで、Googleのドレメルのオープンソース実装です。
推奨読書
40 +すべてここにビッグデータ開発[W]チュートリアルの年俸！
大規模なデータ配列を共有するためのトレーニングプログラマはシェルで説明します