研究ノート(67):第II章:処理とデータマイニングを変換するには、大量のデータキーvalue_05のアイデアを削減-map

すぐに学ぶ:https://edu.csdn.net/course/play/26303/334550?utm_source=blogtoedu

上記合成、増加タスクのパフォーマンスを追加マップと減速の間であります

要約:

 1.、書き込み機能への必要性を減らすマップ、時には書き込みをしないでください

2.マップの操作主な変更キー、減速主要な修正値

既存のアルゴリズムの3目覚めマップ減速

中間入力キーと値のペアの配列を生成するためのキーをマップ4

5.すべての入力機能をマップキー操作意志

6.同じキー値が異なるキーのそれぞれに対する減速、減速機能を動作さ一緒に置かれます

7.マップと減速ハンドルにハッシュバケットで割ったパーティションのアイデアに属する、マッププロセスが発散され、収束プロセスリデューサ

タスクの減速機の数よりもはるかに大きい8.マップ

コストは大きいであろうように、9マップ減速は、入力と出力とを有する、出力は、ディスク・レベルの操作で、サイクル繰り返して、再びマップ減速に入り、メモリにおけるスパーク動作レベル、メモリのオーバーヘッドが大きくなりますので、しかし速いです

10.スパーク安定性が良好マップ、点火リードワンスれます

11.マップ減速主な機能は、変換、データの抽出、変換、書き込み処理を行います

12.マップで火花モデリング機能をどう削減、輸出はHadoopのは、便利な任意の言語マップ - 減速で書かれたストリーミングで、機械学習の訓練のために備えて

公開された73元の記事 ウォンの賞賛3 ビュー737

おすすめ

転載: blog.csdn.net/wj1408421029/article/details/104519260