HDFS書き込みデータの原理図
HDFS書き込みデータの原理図の説明
1.客户端发起请求,namenode需要检测是否可以上传(磁盘大小,节点检查等)
2.namenode检查完毕,觉得可以上传,那么会返回hdfs系统的一些配置,客户端需要根据这些要求(文件块大小之类的)进行上传
3.客户端根据namenode要求,对a.mp4进行切块,比如namenode返回block.size=128M,
客户端上传文件大小是300M, 那么需要切分为(128,128,44),分别上传.
4.接收到客户端上传分片请求,namenode根据自己管理的datanode节点情况(节点距离,副本数量),
返回对应的数据节点,返回数据节点的数量取决于客户端配置的副本数量,如果客户端只要将上传文件有两个副本,那么namenode会返回三个datanode地址.
5.客户端上传block,客户端根据拿到的namenode返回的nodenode地址发起上传文件的io请求,
开始上传数据块.
//3.4.5是一个循环,根据切块数量,不断执行3-5步骤
hdfs読み取りデータの原理図
HDFS読み取りデータの原理図の説明
1.客户端请求下载a.mp4,namenode进行校验文件是否存在等检查
2.namenod检查完毕,返回要读取文件的原始数据,主要包括数据分块信息和节点分布信息
3.客户端使用文件元数据向datanode发起读取文件块的请求,所有块读取完毕后,合并为一个完整
的可用文件
総括する
1. HDFSファイルの読み取りと書き込みはブロックで処理され、分散ストレージは複数のコピーの形式で処理されます。これは、分散ファイルシステムの高可用性を反映
しています。2。HDFSファイルの読み取りと書き込みのクライアントは、データノードに同時にアクセスできます。書き込み速度は、すべてのデータノードの合計です。
これは、分散ファイルシステム3の高速を反映しています。hdfsファイルデータは複数のデータノードに保存されます。これらのデータノードの生データは、ネームノードによって一律に管理され、無期限に拡張できます。これは、分散ファイルシステムが任意のサイズのファイルを保存できることを反映しています。