MapReduceの火花差

https://blog.csdn.net/wyz0516071128/article/details/81219342

(特にMapReduceのタスクとタスクスパーク)同じ同時実行モデルを使用したが、タスクレベルでサーバ側の両方が異なるパラレルメカニズムを採用しているが:HadoopのMapReduceはマルチスレッドモデルスパークを使用するマルチプロセスモデルを使用し。

全体的に、スパークは、古典的なスケジューラ/労働者モードを使用して、最初のステップスパーク各アプリケーションが実行されているが、再利用可能なリソースプールを構築することで、その後、リソースプール内もののていることすべてShuffleMapTaskとReduceTask(注を実行するために、スパークプログラムは、タスクの二種類を使用することができShuffleMapTaskとReduceTask)、およびMapReduceのアプリケーションが異なること複雑なアプリケーションを発現し、そうでないもはやマッパーと減速の書き込みに限らず、非常に柔軟な方法ではないが、内部にエンジンをスパーク私たちは、再利用可能なリソースプールを構築するが、各タスクの動的なアプリケーションのリソースをしましょう、とリソースのリリース後すぐに実行されます。

おすすめ

転載: www.cnblogs.com/gouhaiping/p/12508464.html