HDFS主要流程
客户端创建到namenode的文件与目录操作
客户端会调用FileSystem实现也就是DistributedFileSystem的mkdir()函数，之后DistributedFileSystem会通过IPC调用namenode的mkdir()
这个操作会持久化到日志中FSImage#saveFSImage()，之后返回
创建目录只是客户端和namenode交互，不会跟datanode交互
删除文件操作
操作类似mkdir()，但是删除操作只是删除namenode中的引用关系，并不会真正删除datanode中的数据，namenode和datanode只是维持简单的主从关系，namenode不会向datanode发起任何IPC操作，datanode的数据删除操作是通过心跳包DatanodeCommand向namenode报告后，然后才删除的
读取文件操作
1)客户端通过DistributedFileSystem打开文件，然后创建输入流FSDataInputStream返回给客户端
对HDFS来说具体的输入流是DFSInputStream，在DFSInputStream的构造函数中，输出流实例通过
2)ClientProtocol#getBlockLocation()以确定文件开始部分数据的保存位置，namenode保存着该副本块中的数据节点地址，通过网络拓扑工具类计算出离客户端最近的节点然后返回
3)之后客户端调用FSDataInputStream#read()读取文件数据，当达到块的末尾时，DFSInputStream会关闭和datanode的连接，然后namenode继续找到文件的后续部 分，依旧是寻找离客户端最近的节点再返回
4)客户端接续读取剩余部分然后通过FSDataInputSrream#close()关闭输入流
5)客户端读取的时候如果发生datanode故障或者网络等问题，会尝试读取下一个数据块的位置(namenode中记录了每个块对应的datanode全部副本，通过链表保存)，同时客户端也会记录有问题的datanode
6)读数据的应答包中还包含了校验部分，如果校验有错误，客户端会通知给namenode，之后尝试从其他datanode中读取数据
7)由客户端联系namenode，能够将读取文件引起的数据传输，分散到集群的各个datanode上，这样读取大文件的时候，HDFS集群就可以支持大量的并发客户端，namenode只提供处理数据块定位请求，不提供具体数据
写文件操作
1)客户端调用create()创建文件，此时DistributedFileSystem创建DFSOutputStream，由它向namenode创建一个新的文件，namenode创建文件时需要做各种检查操作，完成后返回DFSOutputStream给客户端
2)写文件时首先向namenode申请数据块也就是调用addBlock()，执行成功后 返回一个LocatedBlock对象，这个对象中包含了新数据块标示和版本号等信息，通过这些信息DFSOutputStream就可以和datanode通讯
3)客户端写入的数据被分成一个个的文件包，放入DFSOutputStream对象内部，最后打包发送给datanode，然后根据流的形式继续发送给后续的datanode节点，其他datanode收到数据后会返回一个应答包，最后全部完成后返回给客户端
4)DFSOputStream写完一个数据块后，所有的datanode会通过DatanodeProtocol远程接口的blockReceived汇报给namenode，向namenode提交数据，为了减轻namenode压力汇报的数据也会放入队列等累积到一定量后再提交。如果客户端的队列中海油数据，DFSOputputStream需要再次调用addBlock()向文件添加新的数据块
5)客户端写完数据后就调用close()，之后DFSOputStream调用ClientProtocol#complete通知namenode关闭文件，这样就完成了一次正常写入文件操作
6)在写入过程中可能会出现一些datanode故障，默认只要有1个datanode写成功就会返程，后续会有定时器扫描到副本数小于3就开启复制
7)写入datanode故障后，写入队列的数据会重新添加到DFSOutputStream队列中，然后重新找一个datanode，新的datanode数据块会赋予新的版本号，之后如果有问题的datanode重启启动后会因为数据块版本号不匹配而删除。
datanode和namenode交互
1)datanode启动后会向namenode发送远程调用versionReuqest()，进行版本检查，保证HDFS版本一致
2)之后调用register向namenode注册 ，主要工作也是检查，确认该datanode是不是集群中的成员
3)注册成功后，datanode会将它管理的所有数据块信息，通过blockReport()上报到namenode，帮助namenode建立HDFS文件数据块到datanode节点的映射关系，这一步完成后数据节点才正式提供服务
一般来说只有namenode中的映射完成95%之后才离开安全模式，之间都是只读模式
4)datanode每隔一段时间发送心跳到namenode，如果namenode有一些需要datanode配合的动作，则返回DatanodeCommand数组，它包含一系列指令比如删除数据。datanode收到后就会真正删除数据
命名空间镜像检查点的产生
1)secondarynamenode会通过NamenodeProtocol#getEditLogSize()获取编辑文件大小，如果文件比较小则直接由namenode完成就行了
2)如果文件较大则调用rollEditLog()启动检查点过程，这时namenode会创建一个新的edits.new文件，后续对fsimage的改动都会记录到这个新的日志中
3)之后secondary通过HTTP方式下载fsimage和edits，将两个文件合并保存为fsimage.ckpt
4)namenode通过HTTP方式下载这个合并后的fsimage.ckpt文件
5)namenode将新的fsimage.ckpt覆盖原有的fsimage，同时将edits.new改为edit，这时编辑日志中的内容就是从合并后的fsimage.ckpt基础上增加的了
各节点之间的主要接口
1)客户端和namenode之间的接口 ClientProtocol，是HDFS客户访问文件系统的入口，客户端通过这个接口访问namenode，操作文件或目录打开文件，之后再跟datanode交互
2)客户端和datanode之间的接口，客户端和datanode之间的交互主要通过流接口进行读/写，如果发生错误需要配合namenode完成
3)DatanodeProtocol是datanode和namenode之间的接口，在HDFS集群中，datanode节点通过这个接口不断的向namenode报告一些信息，同步信息到namenode，同时该接口的函数会返回一些信息通过这些信息，datanode会移动，删除，或者恢复磁盘上的数据块
4)InterDatanodeProtocol 这是datanode节点之间的接口，通过这个接口跟其他datanode通讯，恢复数据保证数据一致性
5)NamenodeProtocol 这是secondary跟namenode通讯的接口，secondary会定期获取namenode上的edits文件的变化然后做合并
6)其他比如跟安全相关的RefreshAuthorizationPolicyProtocol和RefreshUsrMappingProtocol
HDFS主要角色类图
datanode目录
| blocksBeingWritten | 该目录保存当前正在写的数据块，和位于tmp目录下保存的正在 写的数据块相比，这个目录写的是由客户端发起的 |
| current | 数据节点管理的最重要目录，保存已经写入HDFS文件系统的数据块， 也就是写操作已经结束的已提交的数据块，该目录还包含一些系统工作时 需要的文件 |
| detach | 用于配合数据节点升级，供数据块分离操作保存临时工作文件 |
| tmp | 该目录页保存着当前正在写的数据块，这里的写是由数据块复制引发的， 另一个数据节点正在发送数据到数据块中 |
| storage | 0.13版本以前的hadoop使用这个名称做目录保存数据块，这样做的目的 是防止旧的hadoop版本在新的集群上启动破坏系统 |
| in_use.lock | 表示目录已经被使用，实现了一种锁机制，如果停止数据节点该文件就会 消失 |
datanode的current目录
这里有数据块和meta后缀的校验信息文件，用来保存数据块的校验信息
当目录块中的数目超过64个，就会新生成一个目录
namenode目录
| fsimage | 元数据镜像文件 |
| edits | 日志文件，和元数据镜像文件一起，提供了一个完整 的HDFS目录树及元信息 |
| fstime | 保存了最近一次检查点的时间，检查点一般由第二名字节点 产生，是一次fsimage和对应edits合并的结果 |
| VERSION | 和数据节点类似，该文件保存了名字节点存储的一些属性 |
| in_use.lock | 和数据节点的这个文件功能一样，保存名字节点独占使用该目录 |
| current目录 | 保存了最新的镜像内容 |
| fsimage目录 | 跟current目录一样，是老版本是用的，是为了兼容考虑的 |
| previous.checkpoint目录 | 保存名字及节点的上一次检查点 |
其中fsimage目录和edits目录是可以分开的