HDFS写流程

hadoop1.x默认数据队列是以64M为单位

hadoop2.x默认数据队列是以128M为单位

Pipeline 会以更小的包（缓冲区） 会反馈回给上一个DataNode 传输过去

写流程

1、HDFS client 会请求NameNode 检查（检查请求路径 文件等）通过后 返回上传的第一个节点

2、客户端 根据返回的第一个节点 会根据第一个节点建立管道连接 第一个节点跟第二个节点建立管道连接 第二个节点跟第三个节点建立管道连接

3、一个文件 会切成128M的块 这个块会以更小的包（缓冲区） 通过Pipeline传入第一个节点 第一个节点同时传入到第二个节点

第二个节点同时传入到第三个节点

4、传入的同时 并且会按时发送心跳 如果有一个节点挂了 会 马上传到另外一个节点上 会告诉第一个节点另外一个传到另外一个

充分利用了时间线的重叠

读流程 — 距离优先

1、HDFS client 会请求NameNode 检查（检查请求路径 文件等）通过后 返回一部分Block副本位置列表 包括距离概念

2、线性和DN获取Block，最终合并为一个文件

3、在Block副本列表中按距离择优选取