飼育係のクラスタ管理と選挙を共有するのが良いプログラマビッグデータ技術

ビッグデータ学習技術は、多くのプログラマのための必修科目となっていますが、ビッグデータ技術のZooKeeperクラスタ管理と選挙を共有するための我々の議論今日とても良いプログラマのための多くの技術フォーラムが行われている、私たちは一緒に学ぶことができます!

 

  1.クラスタマシンの監視

 

  これは、通常、クラスタ状態機械に使用する種類で、マシンがオンラインに迅速クラスタマシンの変化に対応することができ、高い要件を評価シーンを持っています。このようなシナリオは、リアルタイム検出マシンクラスタの生存かどうか、監視システムを持っている傾向があります。過去の練習は通常、次のとおりです。各マシンのタイミングや各マシンの監視システムへの独自の定期的な報告を検出する(pingなど)何らかの手段による監視システム、「私は生きているんです。」このアプローチは動作しますが、2つの明らかな問題があります。

 

  クラスタマシンはより多くの関与は、物事を変更する際に変更されることがあります。

 

  一定の遅延。

 

  使用ZooKeeperのは、別のクラスタマシンのライブネス監視システムにリアルタイムであなたができる2つのプロパティを、持っています:

 

  クライアントノード上のX変更のウォッチャー、その後、もしX?子供を登録し、クライアントに通知します。

 

  ノードの一時的なタイプを作成、セッションのクライアントとサーバの終了または期限切れたら、そのノードが消えます。

 

  例えば、/ clusterServers上の監視システムウォッチャーノード登録は、すべてのマシンの後に追加動的、ノードタイプ/ clusterServers乗っエフェメラル作成:/ clusterServers / {ホスト名}したがって、監視システムは、機械によってリアルタイムで知ることができるであろう。監視システムその後の処理動作と同様に、ケースを保存します。

 

  2.Master選挙

 

  分散環境では、同じビジネスアプリケーションが異なるマシン上に分布し、いくつかのビジネスロジックは、(例えば、時間のかかる計算、ネットワークI / Oプロセスの数)、マシンの多くの場合、一つだけでは、実行のためのクラスタ全体を作るために残りのマシンが大幅に重複を削減し、パフォーマンスを向上させることができ、結果を、共有することができますので、マスターの選挙は、このシナリオで発生した主な問題です。

 

  ZooKeeperのは、つまりグローバル一意性を、分散型高同時実行の下に作成されたノードを確実にするために、強い一貫性を使用:/ currentMasterノードを作成するために、複数のクライアントからの要求があり、結局、唯一の特定のクライアント要求が成功を作成します。この機能を使用して、それが簡単に分散環境でクラスタを選択することができます。

 

  また、このシナリオの進化を見て、それは動的なマスターの選挙です。ノードの種類の?EPHEMERAL_SEQUENTIAL特性にこのように使用します。

 

、成功を作成することができ、最終的に一つだけを作成するために、すべてのクライアント要求は、前述しました。このわずかな変化では、すべての要求を作成することができますできますが、作成順可能ZKの最終的な結果を作成するために、その後、すべての要求を持っている必要とする場合です。

/ CurrentMaster / {セッションID} -1 ,? / CurrentMaster / {セッションID} -2- ,? / CurrentMaster / {セッションID} -3 ... ..マスターとして最小のシリアル番号を選択するために、各マシン、機械​​に連結されている場合、なぜなら彼はその後、その後マシンは、マスターの最小で、ノードすぐに時間意志を作成しました。

 

  3.検索システム

 

  検索システムでは、クラスタ内の各マシンがフルインデックス量を生成する場合は、時間がかかり、互いにインデックスデータ間の整合性を保証するものではありません。だから、クラスタマスターは、インデックスの完全な量を生成してみましょう、その後、クラスタ内の他のマシンに同期します。また、災害復旧は、手動でマスター情報を取得することはできませんZKで使用する場合、あなたは、このようなHTTPの方法によるような場所にマスターを得ることができ、いつでもマスターを指定することができますマスター選挙を測定します。

 

  HBaseのでは、選挙がダイナミックHMASTER利用のZooKeeperを達成することです。、HBaseの実装では、ZKはテーブルの上に保存され、飼育係HRegionServerに登録されたいくつかのアドレスROOTのHMASTERアドレスは、一時的なノード(エフェメラル)にHMASTERはいつでも各HRegionServerの生存状況を知覚できるような方法を自分自身を配置します同時に、HMASTER問題と、このように一点HMASTERの問題を回避、HMASTERランに再選出されます

 

  学习大数据开发,可以参考好程序员提供的大数据学习路线,该学习路线提供完整的大数据开发知识体系,内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习。根据好程序员提供的大数据学习路线图可以让你对学习大数据需要掌握的知识有个清晰的了解,并快速入门大数据开发。

おすすめ

転載: www.cnblogs.com/gcghcxy/p/10931352.html