本文大部分内容转自初步掌握HDFS的架构及原理，并参考了网易云课堂《大数据技术原理与应用》课程Chapter 3的内容。
01
什么是分布式文件系统？
分布式文件系统（Distributed File System），简单来说，就是把文件分布存储到多个计算机节点上，这些节点可分为以下两类：
主节点 （Master Node），或名称结点（NameNode）
从节点（Slave Node），或数据节点 (DataNode)
节点之间通过计算机网络进行连接。
02
什么是HDFS？
HDFS是被设计成适合运行在通用硬件上的分布式文件系统，它是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。
它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。
03
为什么使用HDFS？
高容错性：数据自动保存多个副本，提高容错性，某一个副本丢失以后，它可以自动恢复。
适合批处理：它是通过移动计算而不是移动数据；它会把数据位置暴露给计算框架。
适合大数据处理：处理数据达到 GB、TB、甚至PB级别的数据；能够处理百万规模以上的文件数量，数量相当之大；能够处理10K节点的规模。
流式文件访问：一次写入，多次读取。文件一旦写入不能修改，只能追加。
可构建在廉价机器上：它通过多副本机制，提高可靠性。它提供了容错和恢复机制。比如某一个副本丢失，可以通过其它副本来恢复。
04
哪些场合不适合使用HDFS？
低延时数据访问：比如毫秒级的来存储数据，这是不行的，它做不到。
它适合高吞吐率的场景，就是在某一时间内写入大量的数据。但是它在低延时的情况下是不行的，比如毫秒级以内读取数据，这样它是很难做到的。
小文件存储：存储大量小文件(这里的小文件是指小于HDFS系统的Block大小的文件（默认64M）)的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。
并发写入、文件随机修改：一个文件只能有一个写，不允许多个线程同时写。仅支持数据 append（追加），不支持文件的随机修改。
05
HDFS如何存储数据？
（1）HDFS的存储单位
HDFS以块作为存储单位，默认一个块64MB。块的大小远远大于普通文件系统，可以最小化寻址开销。
HDFS采用抽象的块概念可以带来以下几个明显的好处：
支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量。
简化系统设计：首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据。
适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性。
（2）HDFS的存储架构
HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。
（1）Client：就是客户端。
文件切分。文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储。
与 NameNode 交互，获取文件的位置信息。
与 DataNode 交互，读取或者写入数据。
Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS。
Client 可以通过一些命令来访问 HDFS。
（2）NameNode：就是 master，它是一个主管、管理者。
管理 HDFS 的名称空间。
管理数据块（Block）映射信息。
配置副本策略。
处理客户端读写请求。
（3）DataNode：就是Slave。NameNode 下达命令，DataNode 执行实际的操作。
存储实际的数据块。
执行数据块的读/写操作。
（4）SecondaryNameNode：NameNode 的冷备。
辅助 NameNode，分担其工作量。
定期合并 FsImage和EditLog，并推送给NameNode。
在紧急情况下，可辅助恢复 NameNode。
06
HDFS如何检测和处理错误数据？
HDFS具有较高的容错性，可以兼容廉价的硬件，它把硬件出错看作一种常态，而不是异常，并设计了相应的机制检测数据错误和进行自动恢复，主要包括以下几种情形：名称节点出错、数据节点出错和数据出错。
（1）名称节点出错
名称节点保存了所有的元数据信息，其中，最核心的两大数据结构是FsImage和Editlog，如果这两个文件发生损坏，那么整个HDFS实例将失效。
因此，HDFS设置了备份机制，把这些核心文件同步复制到备份服务器SecondaryNameNode上。当名称节点出错时，就可以根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。
（2）数据节点出错
每个数据节点会定期向名称节点发送“心跳”信息，向名称节点报告自己的状态。
当数据节点发生故障，或者网络发生断网时，名称节点就无法收到来自一些数据节点的心跳信息，这时，这些数据节点就会被标记为“宕机”，节点上面的所有数据都会被标记为“不可读”，名称节点不会再给它们发送任何I/O请求。
这时，有可能出现一种情形，即由于一些数据节点的不可用，会导致一些数据块的副本数量小于冗余因子。
名称节点会定期检查这种情况，一旦发现某个数据块的副本数量小于冗余因子，就会启动数据冗余复制，为它生成新的副本。
（3）数据出错
网络传输和磁盘错误等因素，都会造成数据错误。
客户端在读取到数据后，会采用md5和sha1对数据块进行校验，以确定读取到正确的数据。
在文件被创建时，客户端就会对每一个文件块进行信息摘录，并把这些信息写入到同一个路径的隐藏文件里面。
当客户端读取文件的时候，会先读取该信息文件，然后，利用该信息文件对每个读取的数据块进行校验，如果校验出错，客户端就会请求到另外一个数据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会定期检查并且重新复制这个块。
07
HDFS如何读取文件？
HDFS的文件读取原理，主要包括以下几个步骤：
① 首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。
② DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面。
③ 前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream就会找出离客户端最近的datanode并连接datanode。
④ 数据从datanode源源不断的流向客户端。
⑤ 如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。
⑥ 如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。
08
HDFS如何写文件？
HDFS的文件写入原理，主要包括以下几个步骤：
① 客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。
② DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。
③ 前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。
④ DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。
⑤ DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时ack queue才会把对应的packet包移除掉。
⑥ 客户端完成写数据后，调用close方法关闭写入流。
⑦ DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成。
Enjoy reading ：）