スパーク2種類の提出糸-クライアントと糸クラスタ

スパークはマスター・サービスは、アプリケーションがそのノード上で実行し、実行し、ときに実行することが可能かを決定する(スタンドアロン、Mesosマスター、糸のResourceManagerスパーク)する3つのクラスタの展開(スタンドアロン、Mesos、糸)を、サポートしています。スレーブサービス(糸ノードマネージャ)各ノード上で実行中の動作ジョブの状態、ならびにリソースの消費を監視しながら、ノードは、エグゼキュータ・プロセスを制御します。糸上で実行されているスパーク、二つのモード、糸クライアントと糸クラスタがあります。一般的に、本番環境用糸クラスタ、相互作用および試運転のための糸クライアント。

1.Appliactionマスター

糸では、各アプリケーションは、それがこのResourceManagerからのリソースのアプリケーション、リソース割り当てを担当して第一の容器Appliaction開始、で、アプリケーションのマスター・プロセスを持っており、アプリケーションのコンテナを起動するノードマネージャに気づく、の必要性を回避するアプリケーションマスタークライアントアクティビティは、維持するクライアントは、いつでも撤回、およびクラスタ内で管理されたプロセスの糸を実行し続けることができApplicatin開始します。
あなたは糸でスパークジョブを実行すると、同時に実行されている糸の容器(コンテナ)として、各スパークキュータは、同じコンテナで実行されている複数のタスクをサポートするタスクの開始時間を節約できます。

2.Yarn、クライアント

糸でクライアントモード、AMのみ糸エグゼキュータから割り当てられたリソースに適用され、その後、クライアントは、コンテナ(コンテナ)通信でジョブのスケジューリングを行います。以下に示すように、クライアントは残すことはできません:

実行フローを:

  • クライアントは、このResourceManager(RM)にジョブを送信します
  • RMは、ローカルノードマネージャ(NM)は、容器とAM NMを開始するために割り当てられました
  • NMは、RMは、割り当てられた初期化とアプリケーションのマスタージョブを開始し、これはドライバーNMと呼ばれている受信しました
  • RMのための資金を申請するアプリケーション、他のノードマネージャは、リソースの執行の適正な配分を開始通知
  • エグゼキュータは、AM地元の開始を報告し、対応するタスクを完了するために、登録します

    3.Yarnクラスタ

    糸クラスタモードでは、ドライバは、アプリケーションのライフサイクルに続けることなく、すぐにシャットダウンすることができ、アプリケーションを駆動し、糸から資金援助を申請するために同時に責任のプロセスは、プロセスは、糸のコンテナで実行AM、そうAMのクライアントを起動し、AM上で実行されます以下に示すとおり

    、実行のフロー:
  • クライアントは、このResourceManager(RM)に提出されたジョブ情報を生成し、
  • (糸によって決定される)ノードマネージャ1 RMにノードマネージャ(NM)に割り当てられたコンテナを起動し、アプリケーションのマスター(AM)
  • NMは、RMは、割り当てられた初期化とアプリケーションのマスタージョブを開始し、これはドライバーNMと呼ばれている受信しました
  • RMのための資金を申請するアプリケーション、他のノードマネージャは、リソースの執行の適正な配分を開始通知
  • NMアプリケーションのマスターに登録した報告書にエグゼキュータとタスクを達成

オリジナル:ビッグボックス  スパーク2種類の提出糸-クライアントと糸クラスタ


おすすめ

転載: www.cnblogs.com/petewell/p/11615101.html