ファイルを検索する方法ファイル情報名前ノード名前ノードを保存する方法

説明リンク

プロセスの概要

HDFSのファイルは、名前ノード上のファイルを格納しない、データノードに格納されています。顧客がファイルをアップロードするときに、名前ノードは、最初に対応する治療用(例えば、ブロックサイズに分割されるように)ファイルであろう。ここでの全体のプロセスは、主記憶装置とどのように迅速にノードの位置情報が格納されて見つけることを約あります。

名前ノードは、次の概念のいくつかを持っている主要なカテゴリFSNameSystem、のソース・ファイル・システム・ストレージと管理があります実現します。

iノード:名前、親ノード、修正時刻、アクセス時間、およびUGI情報:ファイルとディレクトリに関する基本的な情報を格納するために使用されます。
INodeFile:inode情報、ならびにブロック、反復係数からなるファイルリストを除き、iノードから継承され、ブロックサイズ
INodeDirectory:iノードコンポーネントファイルのリストまたはディレクトリツリー構造に加えて、iノードから継承
ブロック(たBlockInfo):組成物理ストレージ・ファイル、そこBLOCKID、サイズ、およびタイムスタンプ
BlocksMap:inodeがデータブロックとデータノード間のマッピング関係保存する
FSDirectoryを:FSDirectory管理するために、HDFSでファイルツリー構造、ファイルシステム全体を保存
FSImageを:ディレクトリのファイルシステムを保存ツリー
FSEditlog:操作ログファイルツリー
FSNamesystem:HDFSファイルシステムの管理

思考

名前ノード内の二つの重要なマッピングテーブル:名前空間のファイルシステム、ファイル - ブロック・マップ。これは、2つのステップに対応する:1. 2.ファイルのファイルブロックおよびファイルブロックのブロックブロックマッピングにBLOCKSIZE方法。

この時点で、我々はまず、あるファイルの場所を見つけ、各ファイルのブロックを対応するファイルを検索するための思考を与えます。具体的には、あなたはworkspce / HDFS /名前/によって、ファイルの編集やfsimageでカレントディレクトリを表示することができます。

なお、ここではプロファイル示される経路のようなワークスペースディレクトリのHDFS-site.xmlのです。

IDは、対応する位置を見つけるために、ファイルブロック情報を見つけるために、ブロック単位で与えられます。これは、中間体[1]参照を参照して、ブロックマップを見つけます。

二つの主要なカテゴリ現在のファイルの編集とがありますFsimage([2] [3]):

FsImage(ファイルシステムのメタデータ):Hadoopのファイルシステムのメタデータは、Hadoopのファイルシステムidnodeすべてのディレクトリとファイルの配列情報が含まれている永久的なチェックポイントであり、

編集(編集ログ):すべての更新は、クライアントによって実行されたすべての書き込み操作は、最初のファイルの編集に記録されますパスHadoopのファイルシステム、ファイルシステムに保存されています

VIM上記二つの文書を直接配列情報(短い同様の歪み、読み出し)に関連している、のHadoopは、視聴のために設けられた機構の使用を必要とする(参照[4] [5])。

- Fsimage

$ CD〜/ワークスペース/ ... /現在
$ HDFS OIV -p XML -i /ホーム/ Hadoopの/クラウド/ワークスペース/ HDFS /名前/現在/ fsimage_xxx -o fsimage1.xml
$ VIMのfsimage1.xml
-編集

CD〜$ /ワークスペース/ ... /現在
$ HDFS OEV -i /ホーム/ Hadoopの/クラウド/ワークスペース/ HDFS /名前/電流/ edits_xxx -o edits1.xml
$ VIMのedits.xml
関連fsimageと情報がで見つけることができます編集[ 6] [7]。

上記下でデータノード電流は有しBPで始まるディレクトリを有する電流/確定し、各ファイルブロックのブロックに格納されます。

アイデア2

Hadoopの直接データノード検索指示情報のfsck [8]

HDFSはのfsck $ / INPUT -files -blocks -locations -racks
すべてのファイルの状態検出の代わりに、ファイル
の印刷文書のブロック代表は、ブロックの報告
(プリントアウトする情報の数にファイルブロック番号)データノードのプリントアウトファイルストレージの場所の代表を
印刷するラックの担当者にラックの保管位置

おすすめ

転載: blog.csdn.net/weixin_43093501/article/details/92403257