Hadoopのプロジェクト構造

 

リファレンスから:http://www.icourse163.org/course/XMU-1002335004?tid=1003024012

 

HDFS

全体の分散ファイルストレージを担当

 

、メモリ、CPU帯域幅などのスケジューリング・コンピューティング・リソースを担当

 

MapReduceの

オフラインおよびバッチ・コンピューティングを担当

ディスクベースのコンピューティング

 

論文

MapReduceのジョブ解析及び最適化、(重複を避けるために、ソート処理手順)非循環有向グラフを構成します

 

スパーク

同じ論理のMapReduce

メモリベースの計算、パフォーマンスがMapReduceのよりもはるかに高いです

 

巣箱

Hadoopのベースのデータウェアハウジングツール

SQL言語のサポートの後、SQL文のMapReduceジョブの実行に

MapReduceのアーキテクチャ上のハイブ

 

大規模データ分析のためのHadoopベースのプラットフォーム

SQLに似たクエリ言語豚ラテン語を提供します

 

Oozie

ワークフロー管理ツール

 

飼育係

分散サービスの調整を担当(クラスタ管理、分散ロックの一貫性)

 

HBaseの

非構造化データの分散、列指向データベース・ストレージ

ランダム読み取りおよび書き込みとリアルタイムアプリケーションをサポート

 

水路

収集と分析フレームワークをログに記録します

 

Sqoop

データベースと伝統的なHadoopの間でデータを伝送するための

 

Ambari

Hadoopの迅速な展開ツール

ApacheのHadoopのクラスタ供給、管理および監視をサポート

 

おすすめ

転載: www.cnblogs.com/0nzh0/p/11057483.html