データノードのメカニズムでHDFS

1.DataNode作業メカニズム

データノード上の1)のデータブロックの2つのファイルのデータ自体に対して1つ、()データブロックの長さ、データ・ブロックのチェックサム、およびタイムスタンプなどのメタデータを含む、ディスク上にファイルとして格納されます。

開始後2)データノード登録名前ノードを後にすることにより、周期的(1時間)は、情報ブロック名前ノードの全てを報告します

3)心拍毎に3秒からハートビートの戻り結果のデータノードに名前ノードコマンドような別のマシンにコピーデータブロックとして、またはデータ・ブロックを削除します。場合は10分以上は受け取っていないデータノードハートビートを、ノードが使用できないと考えられています

4)クラスタ操作が安全に参加し、いくつかのマシンを残すことができます。

2.データの整合性

1)それはチェックサムを計算する場合、読み出しブロックデータノード場合

2演算後の場合)、チェックサム、およびブロックが損傷されたことを示す、ブロックが同じではない時間を作ります。

3)別のブロック上のクライアントは、データノードをお読みください。

その作成ファイルのチェックサム検証後の4)データノード期間

3.DataNodeは、時間制限の設定パラメータを落としました

死亡またはネットワーク障害のデータノードのプロセスは、名前ノードと通信データノードができない原因と、名前ノードすぐに、時間をかけて、ノードが死んで、一時的にタイムアウトと呼ばれる時間の長い期間を決定していません。+ 30秒HDFSのデフォルトのタイムアウトは10分の長さ。タイムアウトは、タイムアウトを定義している場合は、タイムアウト期間は次のように計算されます。

タイムアウト= 2 * dfs.namenode.heartbeat.recheck間隔+ 10 * dfs.heartbeat.interval

そして、5分のデフォルトサイズのdfs.namenode.heartbeat.recheck間隔、3秒にdfs.heartbeat.intervalデフォルト。

なお、HDFS-site.xml構成ファイルそのミリ秒のheartbeat.recheck.interval秒のdfs.heartbeat.interval

<プロパティ> 
    <名前 > dfs.namenode.heartbeat.recheck間隔</名前> 
    <値 > 300000 </値> 
< / property>の
<プロパティ > 
    <名前 > dfs.heartbeat.interval </名前> 
    <値 > 3 </ value>の
< / property>の

 

1

とき)データノードを読んブロックの時間を、それが計算されますチェックサムを

2 )を算出した場合はチェックサム、およびブロック作成時刻値があることを示す、同じではないブロックが破損しています。

3 クライアントが別の読み取りデータノードブロック。

4 データノードその創造サイクルの検証ファイルの後にチェックサム

 

おすすめ

転載: www.cnblogs.com/MWCloud/p/11237222.html