HadoopのMapReduceの---アーキテクチャの概念

クリエイティブコモンズライセンス 著作権:帰属、紙ベースを作成するために他人を許可し、(同じライセンスで元のライセンス契約に基づいて用紙配布する必要がありますクリエイティブコモンズ

先着順、栗の場合:
あなたはヤードドライブの統計情報を作成する場合は、車の各ブランドの統計は何?どのようにして、統計に行かないだろう。
フェリチンは犬のように疲れて、フロントからの統計情報に、soeasy来て言いました。
さて、今あなたがそれを行う方法、統計郡または地区、拡大しました。
フェリチンは、彼の仲間、鉄の柱、トラ、バルーン血管形成術、NIU、花などを召喚しました。庭の担当者。統計を作るために良い人の後、ほとんどの集合体。
まあ、それは非常に速く、非常に単純ではありません。
フェリチンと大胆に牛を吹くが言いました。以上ただの友達よりも、それはものではありません、郡おろか。
ここでは、配布されます、そして最終的に要約するものではありません。次に、トピックを入力します。

MapReduceの

なぜそれがMapReduceのと呼ばれ、その上のリトルXXOO、ApacheのSSと呼ばれる、とされていません。
こうしたアウト統計フェリチン車ながら、友人の数としてMapTask-パラレル、。
ReduceTask ----概要は、統計皆が終了してから集約されます。これは、全体の最終的な結果です。
ここに画像を挿入説明
水平透視画像は------------------ 1.1>
入力、入力端子、出力端子の出力、出力がmapTaskの入力reduceTaskあります。統計にreduceTask、完成のみmapTask統計。直線的に依存。
1.2垂直イメージ図------------------>
地図3は、2を削減します。地図フェリチンは友人効率速く、友人の詳細です。また、複数を持つことができます減らします。我々のニーズによると。
1.3プロセス
HDFSマップ---- ----減らすHDFS
注意事項:
スライスがマップに対応します。スライスは、論理的な範囲です。ブロック、分割、マップをデフォルトで。
しかし、あなたの文書が128Mに必要のようなものを分析します。ブロック分割を持って、マップがあり、2つのブロックの必要がある、64Mです。分割は柔軟性があります。
分割された入力レコードが複数あってもよい(デフォルトはレコード1行である)の単位を記録します。
入力中間データセットにマッピングされた(フォーマットK、V)----地図データ集合(K、V)を低減-----
(1)マップ番号を
分割することによって決定され、分割特徴データを決定するために、どのように計算。
renduceの(2)数
最初の栗:統計の上にフェリチン友人、統計は、誰もが彼に番号を与えたが、この男をフェリチンはヘルパーカブの外に、それのための時間の統計情報は、一部の人々は変わっ、怠け者である、フェリチンする必要がありますカブ、一部の人々は、フェリチンを与えました。その仕上がりは、まだ完全な統計データではありません。ゴーン完了するの削減、その後、私たちの写真をチェックしてください。いいえ。だから、需要に基づいた意思決定の数を減らします。
私は理解していませんか?あなたの不安
セカンド栗:私たちは、郡の男性と女性のためのフェリチンの統計を聞かせて、最終的に人フェリチン統計が疲れることはできません。統計男性カブ。フェリチン統計の女性。これは、より簡単ではありません。高速効率。これは、2つの削減とり、次の3つは、他のが唯一の空にすることができ、男性と女性にすることはできません。あなたが持っている場合は、栗と同じではありません。
どのように多くのこのような車両を決定するためのデータから計算された数が削減mapj、それは減らすの一つです。
:理解することが重要
に一度と呼ばれるグループと「同じ」キーを、計算するデータのこのセット内法、反復法を減らす
ことが何を意味するのでしょうか?
たとえば、男性と女性のための私達の統計を減らし、男性と女性のための2つは、すべてこのグループのグループで、削減するコールの女性のグループについて、削減を呼ぶ男たちのグループのために、鍵となります。
二つは減らす、男性、できない男性のための他のものを置きます。低減コールの単位としてグループを破壊します。
概要
ブロック>スプリット
1:1つのデフォルト
N:1つの拡大セクション
1:Nレコードスライス
分割>地図
1:1でなければなりません
削減>地図
1減らす合計:Nを
Nを:データのN個の複数の
1:1
1:Nの仮説レコード1000年、1000年には、データの4つのセットがあります。
グループ(キー)>パーティション
1 :. 1。
N :. 1
N:N
。1:N>を逸脱?
パーティション> OUTPUTFILEの
ここに画像を挿入説明
プロセス:

おすすめ

転載: blog.csdn.net/power_k/article/details/92395267