糸クラスタパターンと糸clinetモードの差分火花

1、糸クラスタパターンと糸clinetモード差のスパーク。

ドライバー:main()関数を表し、SparkContextを作成します。SparkContextとの通信を担当するClusterManagerのは、タスクの割り当てと監視、リソースを活用しています。プログラムの実行が完了した後閉じるSparkContext。

理解YARN-Clientおよび根深いYARNクラスタ間の差が第1のコンセプトクリアする前に:アプリケーションのマスターを。糸各アプリケーションインスタンスを有することがあり、ApplicationMasterプロセスを開始した最初のコンテナアプリケーション。それは責任とあるのResourceManager取引と要求リソース、言った後、リソースへのアクセスの開始ノードマネージャをコンテナ。話すように深い意味YARN-クラスタと違いYARNクライアントモードでは、実際には、差分ApplicationMasterプロセス。

1、YARNアプリケーションのリソースを担当し、ジョブの健康を監督YARNクラスタモード、AM(アプリケーションマスター)で実行するドライバー、下。ユーザーがジョブを送信すると、あなたは仕事がYARN上で実行していきます、クライアントをオフにすることができ、これYARNクラスタモデルは、ジョブのインタラクティブなタイプを実行するには適していません。

2エグゼキュータを実行しているYARNのコンテナに、糸クライアント・モード、アプリケーションマスターは要求だけが、アプリケーションマスターがSparkContextを実行していない、SparkContextコンテナ通信SparkContextは、クライアント上で実行されている、タスクの割り当てと管理され、クライアントがそれらをスケジュールするために要求します仕事は、そのクライアントは残すことはできません。

 

転載まとめブログ:https://home.cnblogs.com/u/frankdeng

おすすめ

転載: www.cnblogs.com/guoyu1/p/12369273.html