名前ノードでのHadoopの永続性

まず、なぜ永続的な名前ノード

  メタデータ、メモリ、ストレージ、HDFSクラスタで名前ノード(ファイル情報ブロックのディレクトリ構造との対応)、メモリの問題は、それがためのデータメモリ正規店の名前ノードを確保し、ハードドライブに入れて、データの損失、必要性の持続性を、になる場合データセキュリティ。

二、持久化的原理

      1、FSImage(時の名前ノードミラーデータ)

    デフォルトの保存場所

    /opt/install/hadoop-2.5.2/data/tmp/dfs/name

  2、EditsLogは(一定時間後、ログ書き込み動作)

    クラスタをフォーマットFsImageは空FsImageが生成され、ユーザの次の動作はEditsLogに書き込まれます。

    名前ノードは、その都度、メモリ内の組み合わせEditsLogとFSImageデータを再起動し、新しいEditsLogに弟を生成し、

    合併は、ポイントの時間内かどうかにいないではないEditsLog時間は、トランザクション数のFSImageを開発するだろうとき

    トランザクションまたはFSImageの数は、新しいFSImage(データ)と新しいEditsLogを生成するとき、それは時間のポイントを開発するための時間をマージし、EditsLogます

   

   設定を開くことができますhttp://hadoop.apache.org/docs/r2.5.2/

    

    

 

 

 

        これらのファイルを設定するには

          CD /opt/install/hadoop-2.5.2/etc/hadoop

        HDFS-site.xmlファイルが追加された検索

        

<property>
<name>dfs.namenode.name.dir </name>
<value>/opt/suns/fsimage</value>
</property>
<property>
<name>dfs.namenode.edits.dir </name>
<value>/opt/suns/editslog</value>
</property>

 

 

 

安全模式 safemode

namenode从新启动时,通过安全模式保证EditsLog和FSImage的合并,在这个过程中,只允许client进行读操作,而不能进行写操作。

 

 

おすすめ

転載: www.cnblogs.com/zhu-lin-11211/p/12115726.html