名前ノード&&セカンダリ名前ノードメカニズム

名前ノード&&セカンダリ名前ノードメカニズム

1)ワークフロー

 

2)fsimageの和編集

HDFSは、名前ノードの脳である、それはファイルシステム全体のディレクトリツリーだけでなく、すべてのファイルとディレクトリのディレクトリツリーを維持し、ファイルシステムに保存されたファイルの情報のこの2種類:1のミラーイメージの名前空間である(とも呼ばれるファイルシステムイメージ、ファイルシステムイメージ、fsimage)、HDFSメタデータの完全なスナップショット、すなわち、それぞれの時間は、開始最新のデフォルトの名前空間のミラーを読み込む名前ノード、他のログ(編集ログ)を編集するためのスペースコマンドの鏡像です。

FSImageが大きいファイルであるため、書き込み操作が頻繁に行われている場合、システムが非常に遅くなり、fsimageファイルは実際には永久的なチェックポイント・ファイルシステムのメタデータであるが、すべての書き込み操作は、このファイルを更新するわけではありません。名前ノードは、唯一の解決策は、時間が経つにつれて、ジャーナルの編集者はどんどん大きくなります。名前空間をミラーに書き込まれたログを編集し、先行書き込みログの内容を変更することがあるので、障害が発生した場合には、非常に多くの通話時間となりますので、ちょうど従来のリレーショナルデータベースのように、ロールバックするために、統合fsimageおよび編集の必要性を定期的に記録します。あなたが名前ノードによる操作をマージした場合は、その後、名前ノードと、クラスタサービスは、この問題を解決するために、私たちのためにセカンダリ名前ノードの答えを十分な資源を提供することはできません。

3)第一段階:名前ノード開始

  • (1)まず、名前ノードのフォーマットを開始fsimageを作成し、ファイルを編集します。これはあなたが初めて起動されていない場合、ログインして画像を直接メモリにファイルをロードして編集します。
  • (2)クライアントは、追加および削除のメタデータを要求します。
  • (3)名前ノードのレコード操作ログを、ローリングログを更新します。
  • (4)名前ノード欠失データは、メモリチェックの変化します。

4)第二段階:二名前ノードワーク

  • (1)セカンダリ名前ノードは、チェックポイントを必要とする名前ノードかどうかを尋ねました。名前ノードに直接戻っているかどうかの結果を確認します。
  • チェックポイントの(2)二次名前ノード要求の実行。
  • (3)二次名前ノードガイド名前ノードのロールオーバーエディタが書かれた編集はログインします。
  • (4)二次名前ノードの負荷fsimageファイル、編集ログの再生は、新しいfsimageファイル圧縮後にディスクに書き込まれ、fsimageにマージされます。
  • (5)名前ノードにfsimageをコピーします。
  • (6)名前ノードのfsimageはfsimageに変更されます。

デフォルトでは、このプロセスは、1時間に1回発生し、または名前ノードは、ログ・ファイルを編集するときに64メガバイトのデフォルトがトリガされます達します。

 

おすすめ

転載: www.cnblogs.com/zhangchenchuan/p/11700129.html