なぜ我々は糸で生産スパークを選択したいですか？
私たちは、地元の[2]モードの開発を選んだ
、私たちは糸モードでスパークを選んだ、仕事上での生産実行されるタスクのを
糸に展開スパークアプリケーション、次のような利点があります。
1.アプリケーションやサービスを展開し、より便利に
- 彼らは、各計算ノードへの糸の分布によって提供されるクライアント、分散キャッシュメカニズムを経由して提出した後、自分のサービスを持っていない様々なアプリケーションを含む唯一のスパークを含む糸、嵐。
2.リソース隔離メカニズム
- 完全に自分自身とサービスの種類とApplicatioinがクラスタ糸上で実行するユーザーまで、資源の管理とスケジューリングのための唯一の責任糸が、同時に糸の上に、複数の同様のサービスおよびアプリケーションを実行することが可能です。分離を実現するためのリソースの糸のcgroupの使用ユーザーは、新たなサービスやアプリケーションを開発する場合、リソースの分離を心配しないでください。
3.リソース管理弾力
- 糸は、圧力がリソースの量、資源管理弾性に応じて調整されているアプリケーションの異なるタイプに応じて、キュー、その糸の実行クラスタ内のサービス管理の複数の方法によって行うことができます。
糸でスパーク1は、クライアントモードで、1がクラスタモードで、2つのモードがあります。
クライアントモードを実行します。
- 「./spark-shell -master糸」
- 「./spark-shell -master糸クライアント」
- 「./spark-shell -master糸-deployモードクライアント」
クラスタモデルを実行します
- 「./spark-shell -master糸クラスタ」
- 「./spark-shell -master糸-deployモードクラスタ」
クライアントのドライバは、ドライバのクラスタ内のクライアントプロセスBで実行されている:.クライアントとクラスタモードの主な違いは、アプリケーションのマスターで実行されています。