すぐに学ぶ:https://edu.csdn.net/course/play/26303/334550?utm_source=blogtoedu
上記合成、増加タスクのパフォーマンスを追加マップと減速の間であります
要約:
1.、書き込み機能への必要性を減らすマップ、時には書き込みをしないでください
2.マップの操作主な変更キー、減速主要な修正値
既存のアルゴリズムの3目覚めマップ減速
中間入力キーと値のペアの配列を生成するためのキーをマップ4
5.すべての入力機能をマップキー操作意志
6.同じキー値が異なるキーのそれぞれに対する減速、減速機能を動作さ一緒に置かれます
7.マップと減速ハンドルにハッシュバケットで割ったパーティションのアイデアに属する、マッププロセスが発散され、収束プロセスリデューサ
タスクの減速機の数よりもはるかに大きい8.マップ
コストは大きいであろうように、9マップ減速は、入力と出力とを有する、出力は、ディスク・レベルの操作で、サイクル繰り返して、再びマップ減速に入り、メモリにおけるスパーク動作レベル、メモリのオーバーヘッドが大きくなりますので、しかし速いです
10.スパーク安定性が良好マップ、点火リードワンスれます
11.マップ減速主な機能は、変換、データの抽出、変換、書き込み処理を行います
12.マップで火花モデリング機能をどう削減、輸出はHadoopのは、便利な任意の言語マップ - 減速で書かれたストリーミングで、機械学習の訓練のために備えて