Hadoopの地図は/概要を削減します

HadoopのMapReduceは、ソフトウェアフレームワーク(framwork)、このアーキテクチャの目的は、非常に大規模なデータのための(Tの倍数)(数千ノードと同じ大きさであってもよい)大きなクラスタでプログラマーの信頼性を容易にするためであり、MapReduceのありますそして、フォールトトレラント機能は非常に優れています。

MapReduceのジョブは、別々の複数のブロックにマップタスクによって並列に処理されたデータブロックのデータを入力します。ソートするのMapReduceフレームワーク出力マップタスク、入力としてタスクを減らします。通常のジョブ入力と出力は、ファイルシステムに格納されています。フレームワークは、これらのタスクを監視、スケジューリングを担当し、そのタスクの失敗を繰り返すことになります。

クラスタコンピューティング及びストレージクラスタは、同じである通常の状況下で、すなわち、MapReduceのフレームワークであり、HDFSは、クラスタの数が同じで実行されています。このような構成は、このような良好な使用のクラスタの帯域幅、データノードを有し、上記framworkスケジュールされたタスクを可能にします。

単一のマスターJobTracker、プラスクラスタの各ノード上で実行中のスレーブTaskTracker:MapReduceのフレームワークは、以下のコンポーネントから構成されています。マスターの役割は、タスクの失敗のために、だけでなく、再実行しようとする一方で、スケジュールとスレーブ上で実行されているこれらのタスクを監視することです。スレーブは、単にいずれかに割り当てられたタスクマスターを実行する必要があります。

少なくとも入出力パスの適用は、処方及びマップを実装し、インタフェース/抽象クラスを低減します。他の構成、ジョブ構成の組成があります。その後、(実行可能なjarファイルのパッケージのような)仕事のHadoopジョブクライアントが提出し、かつ、そのようなことJobTrackerジャーパッケージと行くためにスレーブ構成ファイル、およびスケジューリングおよび監視タスクように構成されています。

HadoopのフレームワークはJavaのですが、TMは達成が、MapReduceのアプリケーションが必ずしもJavaで書かれている必要はありません。

  • Hadoopのストリーミングは、マッパー/減速ジョブズのように、ユーザーが実行する(例えば、シェルなど)の任意の実行可能ファイルを作成することができますMapReduceのツールです。
  • Hadoopのパイプ C ++の実装のMapReduceとAPIのセットです。

ます。https://www.cnblogs.com/licheng/archive/2011/11/08/2241723.htmlで再現

おすすめ

転載: blog.csdn.net/weixin_33795743/article/details/92627523