[オン]飼育係でのHBase、リージョンサーバー、マスター、クライアントとの関係

一つ前2.0でHDFS名前ノードに、だけ名前ノードオンラインアプリケーションは、名前ノード2.0の抽象ので、複数の名前ノードを含む下部NamServiceに抽象化、安全でない、アクティブ動作状態で一方のみが、しかしそれが必要なのZooKeeper選挙と自動変換です。アクティブいったんオフに与えられた飼育係が自動的にスタンバイに切り替わる際には、アクティブに切り替わっています。

 
 

出典:HDFS-1623設計ドキュメント

写真によって:サンジャイのRadia、スレシュスリニバス

上記のように、各マシン名前ノードFailoverControllerアクティブランに同じノード上の両方FailoverController名前ノードのランで、すなわち、名前ノードを監視するための処理を実行します。

データが変更されると、活性名前ノード生成システムは、上述したように1]、アクティブ名前ノードは、(編集ファイル)が変更される培地は、一般に使用される、媒体に書き込まれます。

1、NFSネットワーク・ファイル・システム。

応じて図2に示すように、飼育係マシンははるかに利用JournalNode記憶編集ない、JournalNodeの、スタンバイ、スタンバイ中の名前ノードと従ってActiveNameNode及びメディアデータの変更一旦、データの名前ノードのリアルタイム同期媒体は、リアルタイムデータ同期であります、

2]、FailoverControllerアクティブアクティブプロセスのリアルタイム監視は、名前ノードとの彼の情報を報告するだろうZooKeeperのはFailoverControllerが2名前ノードのリアルタイム監視を必要とするので、それはあなたがFailoverControllerと名前ノードにしたい理由を理解することは困難ではない、右、同じノードにインストールされています同じノード上に配置されたアクティブな名前ノードが失敗していない場合、)、FailoverControllerアクティブなプロセスは、に情報及びアクティブ名前ノードの送信の等間隔状態acticeの名前ノードで監視されるのZooKeeper問題は、アクティブ名前ノードにモニター一旦発生した場合、メッセージは、に報告され飼育係、および他のスタンバイFailoverControllerプロセスとプロセスがアクティブFailoverControllerデータ同期である(によって飼育係達成する)ため、スタンバイFailoverControllerプロセスは、ときにアクティブ名前ノードアウトを知っているであろう、このとき、スタンバイ名前ノードのノードがアクティブな名前ノード作り、情報を送信し監視します。

飼育係HDFSディレクトリのCDH5.7.1バージョン:/ Hadoopの-HA / nameservice1 / {ActiveBreadCrumb / ActiveStandbyElectorLock}

Hadoopの-HA /名前空間(クラスタ現在nameservice1 - 構成名前ノードネームサービスに対応HDFS); nameservice1ディレクトリがありますActiveBreadCrumb ActiveStandbyElectorLock nameservice1である内容 - hadoop6(hadoop6現在activeNameNodeのhadoop7 standbyNameNodeです)

糸上の飼育係ノード:するresourceManagerに係るサーバの/糸リーダー選挙/ yarnRM / {ActiveBreadCrumb / ActiveStandbyElectorLock}アクティブノードアドレス

糸上のアプリケーションのメタデータに提出されたすべての履歴を保持/ Rmstore / ZKRMStateRoot / {RMAppRoot、AMRMTokenSecretManagerRoot、EpochNode、RMDTSecretManagerRoot、RMVersionNode} RMAppRoot。

/hbase/[...rs,master,balancer,namespace,hbaseid,table ...]

60030 / RS-状態がリージョンサーバーに記載(リージョン・サーバー、モバイルコンピューティング・ノード上にインストールではなく、データノード一般データを移動する)-ServerName:入口領域サーバは、その子ノードは、リージョンサーバー領域のサーバに対応する保持RS

ロードバランサは、名前空間の名前空間Aの名前空間を記録したデータは、HBaseのデフォルトとのHBaseを含んで記録され、名前空間のテーブルのHBaseを作成します

hbaseidは、HBaseの上のテーブルでのHBaseクラスタID、テーブルの子ノードを記録しました。ロックテーブルのテーブルをテーブル・ロック

 

あなたが/カフカを追加する場合は、空のピアは、その後に/カフカの、直接の飼育係のルートディレクトリにデフォルトで管理者を作成した場合はカフカzookeeper.chrootと組み合わせる - カフカkafka-設定飼育係のルートで設定ディレクトリ - ノードの下に一連のノードを作成します。

カフカへ/カフカ/ {管理、isr_change_notification、controller_epoch、消費者は、ブローカー、設定、コントローラ}前記管理サービスノード備えるのdeletetopics削除そのすべての子ノードのトピックを飛びます。カフカパーティション同期リスニングタスクを達成isr_change_notification。消費者は、現在の消費者の記録します。{IDS、トピック、SEQID}を含むブローカーは、この場合の子ノードのIDがカフカブローカーIDの170--対応カフカブローカ構成をbrokerid - broker.id(170 brokeridつのみブローカクラスタカフカ電流) 。170 brokerid、ノードの内容は{ "jmx_port" である: "9393"、 "タイムスタンプ"、 ""、 "エンドポイント":[ "PLAINTEXT://10.2.5.64:9092"]、 "ホスト":「10.2 .5.64「」バージョン 『:2、』ポート「:ノードに対応する9092}トピックパーティションのトピック、サブトピックの数を下回っている各ノード、分割数{0,1,2の子ノードパーティション、...}、各子ノード状態の分割数、ノード状態でない子ノード。状態データ{ "controller_epoch":25、 "リーダー":170(brokerid)、 "バージョン":1、 "leader_epoch":1、 "ISR"。

飼育係与HBaseの

クライアントクライアントは、マスターは、リージョンは、ハートビート・メカニズム(RPC通信)となりますZooKeeperの連絡を取り合います。

挿入または読み取り時にデータがHBaseのプロセスを以下のように。

1は、 Javaクラスがクライアントで実行されている書き込み、クライアントはのみ接続する必要が飼育係クライアントがからになるのZooKeeperそして、中にマッピング情報リージョンサーバーを取得するクライアントは、地域サーバーに直接接続します

2、リージョンサーバーは後に開始されます飼育係のレポート情報(ハートビートRPC):どのように多くの独自の地域、どのデータ、マシンの現在の動作状態のように。

3、マスターはを開始しますZooKeeperのレポート情報を、そしてから飼育係リージョンサーバーでいくつかの情報を取得します。リージョンサーバーがクラッシュ例えば、飼育係は、によってもマスターした後に、知っている飼育係リージョンサーバーのクラッシュ情報を取得します。

4、ときクライアント DDLを行うには、クライアント(、変更、削除テーブルを作成)、合格する飼育係クライアントがマスターと直接通信することができた後、メタデータ情報テーブルの保存アドレスマスター、およびマスターにGETしましたテーブルDDL操作

5、データ地域が増加され、MASTERサーブは、地域の転送セグメント化といえば、地域に命令を送信し、

 
 

飼育係

セキュリティがより多くのマスターを確保するために開始しますので1]、任意の時間が唯一のアクティブなクラスタマスターがあることを確実にするために

リージョン2]ストレージアドレスすべてのインレット。どのマシン上でその地域を知っています。

3]リアルタイム監視状態リージョンサーバーはHMASTERにリージョンサーバーダウンについての情報を報告します。(たまには、リージョンサーバーとマスターがする各通りのZooKeeper一つだけアクティブなマスターがあるので地域Serverがマスターマスターに直接情報を送信しない、ハートビートメッセージを送信するための理由は)圧力を減少させることにある、すべての情報は、リージョンサーバー圧力ながら、彼に報告しましたあまりにも。100リージョンサーバー場合、リージョンサーバーは、すべてに10を分割することができるが、飼育係の達成するためのレポート情報ZooKeeperのロードバランスを。

4元データ記憶のHBaseの(スキーマ)は、クラスタ全体の表、表の各列ファミリー(列ファミリー)を持つのHBaseのノウハウを含みます

クライアント

クライアントは、このような地域の位置情報として、アクセスHBaseのへのインタフェース、およびHBaseのへのアクセスを高速化するために、これらのクライアントキャッシュのメンテナンスが含まれているのZooKeeperZooKeeperの任意の時間は大衆が唯一のすべての地域マスター・ストアの入り口を持っているだけでなく、リアルタイム監視リージョンサーバーに対処することを保証するために、マスターに通知し、リアルタイムでのオンラインとオフラインのリージョンサーバー情報の状態、ストレージは、各表の列ファミリー、テーブルを備えてスキーマを、HBaseの

マスター

マスターは、次の特性があります。

アロケーションリージョンリージョンサーバーのための1、

負荷分散リージョンサーバーを担当する2、

図3は、リージョンサーバーの障害を発見し、地域でそれを再割り当て

HDFS上の4、リサイクルジャンクファイル

図5に示すように、スキーマを処理更新要求

以下の点リージョンサーバー:

彼リージョン、これらの要求の処理IOの地域に割り当てられた1、リージョンサーバーのメンテナンスマスター

2、セグメンテーションの責任リージョンサーバーは、運転中に過度の領域となります

したがって、それは見ることができ、HBaseのクライアント上のデータにアクセスするプロセスは、(アクセス取り組む修士に参加する必要はありません飼育係をし、地域サーブ、書き込みデータアクセスリージョンサーバー)マスターのみメタデータ情報領域のテーブルを維持します。負荷が低いです。



著者:私もし
ます。https://www.jianshu.com/p/4d3f31bf158dリンク
出典:ジェーンの本が
著者によって著作権で保護されています。著者は認可商業転載してください接触、非商用の転載は、ソースを明記してください。

おすすめ

転載: www.cnblogs.com/shun7man/p/12003126.html