MRとYARN差ON SPARK

  • マルチプロセスモデルのMapReduce MapReduceのアプリケーションでは、各タスクの動的なアプリケーション・リソースのためのものであり、リソースのリリース後すぐに実行します

 

    • 各タスクは、別のJVMプロセスで実行します
    • 資源だけではタスクの種類ごとに異なる金額を設定することができ、メモリとCPUは、現在、リソースの2種類をサポートしています
    • 各タスクが実行され、占有リソースを解放します、これらのリソースは、同じであっても仕事のタスクの同じタイプのため、他のタスクの再利用することはできません。つまり、各タスクは、プロセスを経る「 - >リリースリソース - アプリケーション・リソース> [タスクの実行」の

 

  • マルチスレッドモデルをスパーク最初のステップは、再利用可能なリソースプールを構築し、このリソースプール内のすべてのShuffleMapTask ReduceTaskを実行することです

    • 各ノードは、1つ以上のエグゼキュータ・サービス上で実行することができます

    • 特定のエグゼキュータが実行できることを示しているスロットの数、またはどのように多くのShuffleMapTask ReduceTask各エグゼキュータ

    • 各エグゼキュータは、単一のJVMプロセスで実行され、各タスクエグゼキュータで実行中のスレッドであります

    • 同一の内部メモリのタスクエグゼキュータを共有することができ、各タスクが一度ロードされたように、放送ファイルまたはデータ構造は、エグゼキュータのそれぞれではなく、MapReduceのように一度にロードされます

    • エグゼキュータは、一度始め、それが実行していきますと、プログラムの完了が出口スパークのリリースまでに実行した後、そのリソースは、タスクの多重化されています

おすすめ

転載: www.cnblogs.com/xiangyuguan/p/11353169.html