hdfs文件上传及下载的流程

1.文件上传的流程

1)客户端向namenode发送文件上传的请求

2)namenode会进行一系列的检查:

- 父目录是否存在

- 文件是否已经上传

- 是否有文件上传权限等

- 如果检查没问题,则会发送允许上传的响应

3)客户端发送真正的上传请求 包含重要的信息 文件的大小(或长度)

4)namenode会向客户端返回上传文件的节点。

- 根据文件的大小进行计算返回的节点数的206/128M=2 2*副本3=6个节点

- 返回哪些节点?:

- 根据距离和空间

- 先返回客户端所在机器节点>>>>同机架的节点>>>>>不同机架的节点

5)客户端开始准备上传

6)客户端对数据进行逻辑切块

7)客户端开始上传第一个数据块

8)客户端构建第一个数据块的pipline

- 客户端—-》hadoop01——>hadoop02——》hadoop03扩散

- 同时会开启一个阻塞服务,这个服务的作用

- 1)用于检测上传的文件是否和原文件一样

- 2)等待客户端上传成功的响应

9)客户端开始进行真正的数据上传,最终上传成功之后,给客户端响应

10)关闭当前的pipline

11)开始进行第二个块的上传,步骤重复 8,9,10

12)所有的块都上传成功之后 回向namenode响应
在这里插入图片描述

2.文件下载的流程

1)客户端向namenode发送文件下载的请求
2)namenode也会进行一系列的检查

	文件是否存在,是否有权限等
	如果这一系列的检查没有问题,这个时候开始查询自己的元数据库
	返回数据对应的块以及块的存储位置给客户端 
	例如:
	            hadoop.tar.gz
	            blk_9988789:hadoop01   hadoop02
	            blk_9988790:hadoop02   hadoop03

3)客户端拿到数据快的存储信息,开始进行第一个块的下载

从哪一个节点下载?就近原则,优先选择客户端所在的节点》》》同机架》》》不同机架
如果块下载失败怎么办?会再进行尝试一次,
 如果还失败客户端会将这个失败的节点返回给namenode 同时会继续从另外的节点进行下载这个块。

4)第一个块下载完成之后,会进行crc校验,如果校验通过 则认为下载成功。
5)开始进行第二个块的下载,重复步骤4,进行文件追加
6)当所有的数据块下载成功之后,客户端向namenode反馈

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/u012580143/article/details/84614470
今日推荐