hadoop HDFS 写数据流程

HDFS写数据流程图:
HDFS写流程图
1)客户端向 namenode 请求上传文件,namenode 检查目标文件是否已存在,父目录是否存在。

2)namenode 返回是否可以上传。

3)客户端请求第一个 block 上传到哪几个 datanode 服务器上。

4)namenode 返回 3 个 datanode 节点,分别为 dn1、dn2、dn3。

5)客户端请求 dn1 上传数据,dn1 收到请求会继续调用 dn2,然后 dn2 调用 dn3,将这个通信管道建立完成

6)dn1、dn2、dn3 逐级应答客户端

7)客户端开始往 dn1 上传第一个 block(先从磁盘读取数据放到一个本地内存缓存),以packet 为单位,dn1 收到一个 packet 就会传给 dn2,dn2 传给 dn3;dn1 每传一个 packet 会放入一个应答队列等待应答

8)当一个 block 传输完成之后,客户端再次请求 namenode 上传第二个 block 的服务器。(重复执行 3-7 步)

猜你喜欢

转载自blog.csdn.net/qq_36885128/article/details/88069315