Hadoopの大規模なデータ技術のHDFS(7) - HDFS読み取り、書き込みデータの流れ

第VII章:HDFSの書き込みデータの流れ

7.1 HDFSはデータフローを書きます

HDFSの書き込みデータは、図流し
ここに画像を挿入説明
名前ノードが既に存在する対象のファイルをチェックするかどうか、ファイルをアップロードする分散ファイルシステムモジュールの名前ノード要求を通じて1)クライアントを、親ディレクトリが存在します。
それはアップロードすることができる場合2)名前ノード・リターン。
3)いくつかのデータノード上の最初のブロックのクライアント要求は、サーバーにアップロードします。
4)名前ノードは、三個のデータノードノード、それぞれ、DN1、DN2、DN3を返します。
5)FSDataOutputStreamモジュールを介してアップロードデータDN1クライアントの要求は、要求のDN1領収書は、通信パイプラインが完成されて確立されます、そしてDN2コールDN3、DN2呼び出ししていきます。
6)DN1、DN2、ステップ応答クライアントによってDN3段階。
7)クライアントはDN1パケットが通過DN2、DN3 DN2通過を受信する、パケット単位にDN1最初のブロック(ディスクで開始するローカルメモリキャッシュにデータを読み込み)をアップロードし始める。DN1各応答キューは、応答を待っているパケットの場所を渡します。
ブロック転送が完了した後に8)、クライアントの要求は再び名前ノードブロック第二のサーバにアップロードしました。(繰り返しは3-7ステップ)。

7.2 HDFSはデータの流れを読みます

HDFSは、データが図流し読み
ここに画像を挿入説明
データノードに配置されたアドレスブロックを見つけるために、メタデータファイルを照会することにより、ファイルシステム名前ノード、名前ノードを分散ファイル要求をダウンロードするには、クライアントが1)。
DataNodes 2)選択(近接の原理は、ランダムに)、サーバ、データを読み出すための要求。
3)データノードは、較正ユニットパケット)を行うために、入力ストリーム内のディスクからデータを読み出す(クライアントへの送信データに始まります。
4)パケットにクライアントがユニット、ローカルキャッシュに最初に受信し、宛先ファイルに書き込みます。

公開された37元の記事 ウォン称賛7 ビュー1178

おすすめ

転載: blog.csdn.net/zy13765287861/article/details/104667723