存储层(Hadoop分布式文件系统) HDFS
一、分布式文件系统
多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。
分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。
在传统的文件系统里，因为文件系统不会跨越多台机器，元数据和数据存储在同一台机器上。为了构建一个分布式文件系统，让客户端在这种系统中使用简单，并且不需要知道其他客户端的活动，那么元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据，并让剩下的机器来保存文件的内容。
二、重要组成为分离元数据和数据：NameNode和DataNode
元数据包括了文件名、i节点(inode)数、数据块位置等，存储到文件系统中的每个文件都有相关联的元数据。
数据则是文件的实际内容。
三、组成
上图中展现了整个HDFS三个重要角色： NameNode、DataNode和Client。
1、NameNode是HDFS的主要组件之一。元数据存储在NameNode上， NameNode不仅要管理存储在HDFS上内容的元数据，而且要记录一些事情，比如哪些节点是集群的一部分，某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。在本质上，NameNode是HDFS的Master(主服务器)，DataNode是Slave(从服务器)
2、DataNode是HDFS的主要组件之一。数据存储在DataNode的集群上。在本质上，NameNode是HDFS的Master(主服务器)，DataNode是Slave(从服务器)
3、Client就是需要获取分布式文件系统文件的应用程序。
1.文件写入：
1.Client向NameNode发起文件写入的请求。
2.NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
3.Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
2.文件读取：
1.Client向NameNode发起文件读取的请求。
2.NameNode返回文件存储的DataNode的信息。
3.Client读取文件信息。
3.文件Block复制：
1.NameNode发现部分文件的Block不符合最小复制数或者部分DataNode失效。
2.通知DataNode相互复制Block。
3.DataNode开始直接相互复制。
注：
1、HDFS写过程
NameNode负责管理存储在HDFS上所有文件的元数据，它会确认客户端的请求，并记录下文件的名字和存储这个文件的DataNode集合。它把该信息存储在内存中的文件分配表里。
例如，客户端发送一个请求给NameNode，说它要将“zhou.log”文件写入到HDFS。那么，其执行流程如图1所示。具体为：
第一步：客户端发消息给NameNode，说要将“zhou.log”文件写入。(如图1中的①)第二步：NameNode发消息给客户端，叫客户端写到DataNode A、B和D，并直接联系DataNode B。(如图1中的②)
第三步：客户端发消息给DataNode B，叫它保存一份“zhou.log”文件，并且发送一份副本给DataNode A和DataNode D。(如图1中的③)
第四步：DataNode B发消息给DataNode A，叫它保存一份“zhou.log”文件，并且发送一份副本给DataNode D。(如图1中的④)
第五步：DataNode A发消息给DataNode D，叫它保存一份“zhou.log”文件。(如图1中的⑤)
第六步：DataNode D发确认消息给DataNode A。(如图1中的⑤)
第七步：DataNode A发确认消息给DataNode B。(如图1中的④)
第八步：DataNode B发确认消息给客户端，表示写入完成。(如图1中的⑥)
在分布式文件系统的设计中，挑战之一是如何确保数据的一致性。对于HDFS来说，直到所有要保存数据的DataNodes确认它们都有文件的副本 时，数据才被认为写入完成。因此，数据一致性是在写的阶段完成的。一个客户端无论选择从哪个DataNode读取，都将得到相同的数据。
2、HDFS读过程
为了理解读的过程，可以认为一个文件是由存储在DataNode上的数据块组成的。
客户端查看之前写入的内容的执行流程如图2所示，具体步骤为：
第一步：客户端询问NameNode它应该从哪里读取文件。(如图2中的①)
第二步：NameNode发送数据块的信息给客户端。(数据块信息包含了保存着文件副本的DataNode的IP地址，以及DataNode在本地硬盘查找数据块所需要的数据块ID。) (如图2中的②)
第三步：客户端检查数据块信息，联系相关的DataNode，请求数据块。(如图2中的③)
第四步：DataNode返回文件内容给客户端，然后关闭连接，完成读操作。(如图2中的④)
客户端并行从不同的DataNode中获取一个文件的数据块，然后联结这些数据块，拼成完整的文件。
3、通过副本快速恢复硬件故障
当一切运行正常时，DataNode会周期性发送心跳信息给NameNode(默认是每3秒钟一次)。如果NameNode在预定的时间内没有收到 心跳信息(默认是10分钟)，它会认为DataNode出问题了，把它从集群中移除，并且启动一个进程去恢复数据。DataNode可能因为多种原因脱离 集群，如硬件故障、主板故障、电源老化和网络故障等。
对于HDFS来说，丢失一个DataNode意味着丢失了存储在它的硬盘上的数据块的副本。假如在任意时间总有超过一个副本存在(默认3个)，故障 将不会导致数据丢失。当一个硬盘故障时，HDFS会检测到存储在该硬盘的数据块的副本数量低于要求，然后主动创建需要的副本，以达到满副本数状态。