1.文件上传的流程
1)客户端向namenode发送文件上传的请求
2)namenode会进行一系列的检查:
- 父目录是否存在
- 文件是否已经上传
- 是否有文件上传权限等
- 如果检查没问题,则会发送允许上传的响应
3)客户端发送真正的上传请求 包含重要的信息 文件的大小(或长度)
4)namenode会向客户端返回上传文件的节点。
- 根据文件的大小进行计算返回的节点数的206/128M=2 2*副本3=6个节点
- 返回哪些节点?:
- 根据距离和空间
- 先返回客户端所在机器节点>>>>同机架的节点>>>>>不同机架的节点
5)客户端开始准备上传
6)客户端对数据进行逻辑切块
7)客户端开始上传第一个数据块
8)客户端构建第一个数据块的pipline
- 客户端—-》hadoop01——>hadoop02——》hadoop03扩散
- 同时会开启一个阻塞服务,这个服务的作用
- 1)用于检测上传的文件是否和原文件一样
- 2)等待客户端上传成功的响应
9)客户端开始进行真正的数据上传,最终上传成功之后,给客户端响应
10)关闭当前的pipline
11)开始进行第二个块的上传,步骤重复 8,9,10
12)所有的块都上传成功之后 回向namenode响应
2.文件下载的流程
1)客户端向namenode发送文件下载的请求
2)namenode也会进行一系列的检查
文件是否存在,是否有权限等
如果这一系列的检查没有问题,这个时候开始查询自己的元数据库
返回数据对应的块以及块的存储位置给客户端
例如:
hadoop.tar.gz
blk_9988789:hadoop01 hadoop02
blk_9988790:hadoop02 hadoop03
3)客户端拿到数据快的存储信息,开始进行第一个块的下载
从哪一个节点下载?就近原则,优先选择客户端所在的节点》》》同机架》》》不同机架
如果块下载失败怎么办?会再进行尝试一次,
如果还失败客户端会将这个失败的节点返回给namenode 同时会继续从另外的节点进行下载这个块。
4)第一个块下载完成之后,会进行crc校验,如果校验通过 则认为下载成功。
5)开始进行第二个块的下载,重复步骤4,进行文件追加
6)当所有的数据块下载成功之后,客户端向namenode反馈