コントラストスパーク差3つの配置モード

3つの展開モードの、スパーク、スタンドアロンの展開モデルを配布しています、ここではそれらを繰り返さない、最も単純で基本的なスパークアプリケーションのデプロイメントモードです。ここでは、糸とのmesosの違いについて話をします:

(1)2つのフレームワーク自体に、糸フレームmesosを展開することができます。糸は、より一般的な展開フレームワークであり、そして技術がより成熟しています。

(2)クラスタリソースを管理するリソースManangerによるスケジューリングモードの様々な糸をサポートすることができるmesosレベルスケジューリング機構は、一つだけのスケジューリングモードを使用することができます。Mesosダブルスケジューリングメカニズム:mesosは、一般的な分散展開フレームワーク糸としてアクセスが、スケジューラモジュールを持っている必要がありますMesosアクセス可能なフレームワークを必要とし、スケジューリングディスパッチャは内部フレームを担当しています。あなたは、フレームワークにこれらのリソースを割り当てます独自のタスクスケジューラによってので、再び、フレームワークmesosにアクセスmesosに登録するためには、自分自身のスケジューラを変更する必要があり、mesos、自分のリソースに割り当てられて取得したい場合、すなわち、第二の層、フレーム自体のスケジューラ独自の内部タスクにリソースを割り当てるために、第一層、mesosフレームへのリソースの割り当て:フレームをスケジューリングダブルmesosとシステム全体があります。

(3)粗、きめ細かいリソーススケジューリングからmesosは、リソースが動的に割り当てられたが、唯一の糸静的リソース割り当てを実現することができます。きめ細かい及び粗粒スケジューリングする次のように定義されています:
  粗粒モデル(粗粒モード):プログラムが必要なを作るためのさまざまなリソース上で動作する前に(各エグゼキュータは、多くのリソースを占有し、内部番号executorが実行することができます)良いに適用され、これは、動作中に変更することはできません。
  ファイングレインモデル(ファイングレインモード):資源の浪費を防ぐために、リソースがオンデマンドで割り当てられていました。そして、粒度の粗いパターンは、アプリケーションの起動時に、前にexecutorを開始しますが、各エグゼキュータ・フットプリントのみを将来的に実行されるタスクを考慮せず、その後、mesosを動的に各エグゼキュータに割り当てられた、自分のリソースを実行するために必要な各番号のリソース割り当て、単一のタスクの実行が完了したが、すぐに対応するリソースを解放することができる後に、あなたは、新しいタスクを実行することができます。各タスクがMesosスレーブ状態とMesosマスターに報告する、より多くの、きめの細かい管理とフォールトトレランスを促進するために、このスケジューリングモードは、同様のMapReduceのスケジューリングモード、それぞれ完全に独立したタスク、リソース制御との分離を容易にする利点があるが、欠点も明らかです短い遅延大きな仕事が実行されます。
  糸とmesosの差からわかるように、彼らは、それぞれの長所と短所を持っています。このように、企業の実際のニーズに応じて決定するフレームを選択し実用化には、大規模なデータの既存の環境を考慮することができます。そのようなスパークの展開として、糸の私達の使用は、ので、私たちの会社は、長い展開糸パターンと、使用のアカウントのしやすさを考慮して、より成熟したフレームワークのHadoopてきました。

 

 

おすすめ

転載: www.cnblogs.com/eric666666/p/11228825.html