Hadoop 文件写流程

1)流程图

    


2)流程解读

    1. 客户端执行命令(或者代码读取),调用的是dfs的create的方法,输入的是要上传的文件目录

    2. NN会验证这个目录是否存在和是否有权限去创建。

    3. 校验完成后,NN会创建一个空文件,还没有数据流和block映射关系,返回给一个FSDataOutputStream的对象

    4. 客户端调用write方法,将数据流一个一个块地写入

    5. 每个block的写入是接连着副本去写

    6. 当最后的副本写完后,会发送ack packet包告诉上一个副本,最后把ack packet返回给FSDataOutputStream对象

    7. 剩余所有的block依次这样写入

    8. 当所有的块都写完后,FSDataOutputStream会调用close的方法,同时flush刷新缓存

    9. 最后还要调用dfs的complete方法,告诉NN文件已写完,和维护这个文件的映射关系。不用等10个心跳(30s)


【来自@若泽大数据】 

猜你喜欢

转载自blog.csdn.net/qq_30130043/article/details/80435464