HDFS写文件流程

HDFS写入文件流程图如下:

在这里插入图片描述

1 客户端调用Distributed FileSystem.create(path)方法,与NameNode进行RPC通信,参数为路径path。检查传入的路径是否存在,以及当前用户是否有写入权限。
假如都满足,就创建一个新的文件,但是此时并不关联任何的block。并且返回FsDataOutputStream对象。
如果有一个不满足,返回错误信息。
注意:写文件调用对象是FsDataOutputStream,读文件是调用FsDataInputStream
2 client调用FsDataOutputStream的write方法,将第一个块写给DN1,当DN1写完后,DN1复制给DN2,当DN2写完后,DN2复制给DN3。
当DN3写完后,DN3返回一个ack packet确认包给DN2
当DN2 接收到ack后,发送一个ack packet给DN1
当DN1接收到ack后,发送一个ack packet给FsDataOutputStream对象,标识第一个块三个副本全部写完。
其他的数据块写入流程一样。
3 当文件全部写完,client调用FsDataOutputStream对象的close方法,关闭输出流,flush缓存区的数据包
4 调用Filesystem.complete方法,告诉NameNode,文件写入完成。

猜你喜欢

转载自blog.csdn.net/qq_34382453/article/details/83055863