版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
天地无穷期，生命则有穷期，去一日便少一日
富贵有定数，学问则无定数，求一分便得一分
推荐书目电子版下载
Hadoop必读书目（精选）
本文参考文献包含于上述书籍
HDFS知识梳理详细版
HDFS快速入门
应用背景
- 当数据集的大小超过一台独立物理计算机的存储能力时，有必要对它进行分区并存储到若干台单独的计算机上
- 管理网络中跨多台计算机存储的文件系统称为分布式文件系统
- 分布式文件系统架构于网络之上，必然会引入网络编程的复杂性，分布式文件系统比普通磁盘文件系统更加复杂
- Hadoop有一个抽象的文件系统概念，HDFS是其中的一个实现
简介
分布式存储系统HDFS（Hadoop Distributed File System）是一个文件系统，类似于Linux的文件系统。HDFS有目录，目录下可以存储文件，但它是一个分布式的文件系统。
基本原理
- 将文件切分成等大的数据块，分别存储到多台机器上
- 每个数据块存在多个备份
- 数据切分、容错、负载均衡等功能透明化
- 可将HDFS看成是一个巨大的、具有容错性的磁盘
优点
- 处理超大文件
- 流式访问数据
- 运行于廉价的商用集群上
缺点
- 不适合存储大量小文件
- 不适合低延迟数据访问
- 不支持多用户写入和任意修改文件
设计
HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上
-
超大文件
- 几百MB、GB、TB大小的文件，现已有Hadoop集群存储PB级数据
-
流式数据访问
- 一次写入，多次读取是最高效的访问模式
- 数据集通常由数据源生成或者从数据源复制而来，会长时间在此数据集上进行分析，每次均会涉及大部分或者全部数据，读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要
-
商用硬件
- HDFS设计运行在商用硬件上，即在各种零售店都能买到的普通硬件
- 节点故障几率高
- HDFS被设计成在遇到故障时能够继续运行，不让用户察觉到明显的中断
- 某些应用领域不适合使用HDFS
-
低延迟的数据访问
- HDFS为高数据吞吐量应用优化，以增加时间延时为代价
- 要求几十毫秒低时间延迟访问的应用，不适合在HDFS上运行，更适合于HBase
-
大量的小文件
- NameNode将存储文件系统的元数据存储在内存中，该文件系统所能存储的文件总数受限于NameNode的内存容量
- 每个文件、目录和数据块的存储信息大约占150字节
存储上百万个文件是可行的，存储十亿个文件就超出了当前硬件的能力
-
多用户写入，任意修改文件
- 文件写入只支持单个写入者，不支持多个写入者
- 写操作以“只添加”的方式在文件末尾写数据，不支持在文件任意位置进行修改
- 以后可能支持这些操作，但相对比较低效
概念
HDFS架构图
注：Rack-机架 Replication-副本 Block-数据块 Metadata-元数据
- 数据块
- 每个磁盘有默认的数据块大小，是磁盘进行数据读写的最小单位
- 构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍
- HDFS同样有块（Block）的概念，默认为128MB
- 与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块（Chunk），作为独立的存储单元
- 与其他文件系统不同，HDFS中小于一个块大小的文件不会占据整个块的空间
- 优点
- 一个大文件不用存储于整块磁盘上，可以分布式存储
- 使用块抽象而非整个文件作为存储单元，大大简化了存储子系统的设计，对于故障种类繁多的分布式系统尤为重要
- 显示块信息的命令
hdfs fsck / -files -blocks
- NameNode
- HDFS架构中的主节点
- 管理各个从节点（DataNode）的状态
- 记录存储在HDFS上所有数据的元数据信息，如Block存储的位置、文件大小、文件权限、文件层级等
- 上述信息以两个文件的形式永久保存于本地磁盘
- 命名空间镜像文件（FsImg）
FsImage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息 - 编辑日志文件（Edit-logs）
- 保存了自最后一次检查点之后所有针对HDFS文件系统的操作，如增加文件、重命名文件、删除目录等
- NameNode将改动写入Edit-logs是由DataNode的写操作触发的，
- 命名空间镜像文件（FsImg）
- 记录存储在HDFS上文件的所有变化
- 接受DataNode的心跳和DataNode上的Blocak报告信息，确认DataNode是否存活
- 负责处理所有块的复制因子
- 如果DataNode节点宕机，NameNode会选择另外一个DataNode均衡复制因子，并做负载均衡
- 可参考官网
- DataNode
- DataNode是HDFS架构的从节点，管理各自节点的Block信息
- 文件内的数据实际存储于DatNode
- DataNode分别运行于独立的节点
- DataNode执行客户端级别的读写请求
- DataNode向NameNode发送心跳（默认设置为3秒），报告各自节点的健康状况
- Secondary NameNode
- Secondary NameNode是NameNode的助手，不是其备份
- Secondary NameNode在HDFS中提供Chekpoint Node，因此也称之为Chekpoint Node
- 定时从NameNode获取Edit-logs，更新到自己的FsImage上
- 一旦Secondary NameNode有新的FsImage文件，就将其拷贝回NameNode，NameNode在下次重启时会使用新的FsImage文件，从而减少重启时间
- 复制因子
- 复制因子使得HDFS提供可靠存储
- 默认复制因子为3
- DataNode定时发送心跳给NameNode，汇报各自节点的Block信息，NameNode手机这些信息后，对超出复制因子的Block进行删除，对复制份数不足的Block进行赋值
- 机架感知
- 分布式集群通常包含非常多的机器，收到机架槽位和交换机网口的限制，通常大型分布式集群会跨好几个机架
- 机架内机器之间的网络速度通常会高于跨机架机器之间的网络速度
- 机架之间机器的网络通信通常受到上层交换机间网络带宽的限制
- 文件块的放置
- 假设一个Block有3份备份
- 一份放在NameNode指定的DataNode上，一份放在与指定DataNode不在同一台机器上的DataNode上，最后一份放在与指定DataNode同一机架的DataNode上
- 备份的目的是为了数据安全，采用这种配置方式主要是考虑同一机架内机器宕机的情况，以及不同机架之间进行数据复制会带来的性能降低问题
- 客户端（Client）
- 客户端是一个需要获取分布式文件系统文件的应用程序
- 客户端代表用户通过NameNode和DataNode访问整个文件系统
- 客户端提供一个类似于POSIX（可移植操作系统界面）的文件系统接口，用户在编程时无需知道NameNode和DataNode也可实现其功能
- 假设data.txt文件大小为238MB，现需要将其写入HDFS中，假设HDFS块大小设置为默认值128MB，则客户端会将此文件拆分成两个块，第一个块是128MB，第二个块是110MB
读写流程
文件写入
- 客户端向NameNode发起写入文件请求
- NameNode根据文件大小和文件块配置情况，以及结合了DataNode的健康状态、复制因子、机架感知等因素，将可以写入数据的DataNode的IP地址列表返回给客户端，赋予客户端写权限
- 客户端将文件划分为多个块，根据所得的DataNode地址信息，按序将其写入DataNode块中
第3步的数据复制流程分为以下3个阶段
- 流水线建立
写入数据前，客户端要确认所得的IP列表是否准备好接收数据，然后连接各个块的IP列表创建流水线 - 复制数据
客户端向流水线写入数据时，将块复制到第一个DataNode节点，其他DataNode节点的复制是在DataNode节点之间完成 - 关闭流水线
当数据复制到所有的DataNode后，按照IP地址列表相反的方向依次写入成功信息，第一个DataNode节点将成功信息反馈给NameNode，NameNode更新编辑日志文件中的元数据信息，客户端将流水线关闭
注意：多个Block的写入是并行进行的，即多个Block同时写入
文件读取
- 客户端向NameNode发起文件写入请求
- NameNode根据自己的元数据信息，将一个DataNode列表的信息（其块存储了该文件）返回给客户端
- 客户端连接DataNode，读取块中的数据
- 客户端将多个块中的数据进行合并
命令行接口
Hadoop分布式文件系统命令行接口详细版
Hadoop分布式文件系统命令行接口（HDFS Shell）详细版
具体说明
- appendToFile
hadoop fs -appendToFile <localsrc> ... <dst>
添加（追加）一个或多个源文件到目标文件中，或者将标准输入中的数据写入目标文件 - cat
hadoop fs -cat URI [URI ...]
将路径指定文件的内容输入到stdout - chgrp
hadoop fs -chgrp [-R] GROUP URI [URI ...]
改变文件或目录的组信息 - chmod
hadoop fs -chmod [-R] <MODE[,MODE] ... | OCTALMODE> URI [URI ...]
修改文件权限，修改者必须拥有该目录权限，或者是拥护者的父用户
-R表示递归 - chwon
hadoop fs -chwon [-R] [OWNER] [:[GROUP]] URI [URI ...]
修改文件拥有者，修改者必须拥有该文件或者是其父用户
-R表示递归 - copyFromLocal
hadoop fs -copyFromLocal <localsrc> URI
拷贝本地文件到HDFS，类似于put命令，但可以拷贝目录
-f表示覆盖原来已存在目录 - copyToLocal
hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
拷贝HDFS文件到本地，类似于get命令，但可以拷贝目录 - count``
hadoop fs -count [-q] [-h] [-v] <paths>
统计目录下的文件数和空间占用情况
-h表示输出格式化后的信息
-v表示输出表头
| -count | -count -q | 输出列 | 说明 |
|---|---|---|---|
| √ | QUOTA | 命名空间quota（创建的文件数目） | |
| √ | REMAINING_QUOTA | 剩余的命名空间quota（剩余能创建的文件数目） | |
| √ | SPACE_QUOTA | 物理空间quota（限制磁盘空间占用大小） | |
| √ | REMAININNG_SPACE_QUOTA | 剩余的物理空间 | |
| √ | √ | DIR_COUNT | 目录数目 |
| √ | √ | FILE_COUNT | 文件数目 |
| √ | √ | CONTEXT_SIZE | 目录逻辑空间大小 |
| √ | √ | PATHNAME | 路径 |
- cp
hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
将文件从源路径复制到目标路径
该命令允许有多个源路径，此时目标路径必须是一个目录
-f表示如果目标目录已存在，则覆盖之前的目录 - df
hadoop fs -df [-h] URI [URI ...]
显示目录空闲空间
-h表示转换为更加易读的方式，比如67108864用64M代替 - expunge
hadoop fs -expunge
清空回收站 - get
hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
复制文件到本地文件系统 - getmerge
hadoop fs -getmerge <src> <localhost> [addnl]
接受一个源目录和一个目标作为输入，并且将源目录中所有的文件连接成本地目标文件
addnl是可选的，用于指定在每个文件结尾添加一个换行符 - ls
hadoop fs -ls <args> - lsr
hadoop fs -lsr <args>
ls命令的递归版本，类似于Unix中ls -R - mkdir
hadoop fs -mkdir <paths>
接受路径指定的URI作为参数，创建这些目录
其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录 - mv
hadoop fs -mv URI [URI ...] <dest>
将文件从源路径移动到目标路径
该命令允许有多个源路径，此时目标路径必须是一个目录
不允许在不同的文件系统间移动文件 - put
hadoop fs -put <localsrc> ... <dst>
从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入中读入输入写入目标文件系统 - rm
hadoop fs -rm URI [URI ...]
删除指定的文件，只删除非空目录和文件
-r表示递归删除 - setrep
hadoop fs -setrep [-R] [-w] <numReplicas> <path>
改变一个文件的副本系数
-R选项用于递归改变目录下所有文件的副本系数
-w选项指定该请求等待操作执行结束 - stat
hadoop fs -tail [-f] URI
返回执行路径的统计信息
-f选项 |
说明 |
|---|---|
| %F | 文件类型 |
| %b | 文件大小 |
| %g | 所属组 |
| %o | Block大小 |
| %n | 文件名 |
| %r | 复制因子数 |
| %u | 文件所有者 |
| %Y, %y | 修改日期 |
- tail
hadoop fa -tail [-f] URI
将文件尾部1KB字节内容输出到stdout
-f表示根据文件描述符进行追踪，当文件改名或被删除，追踪停止 - text
hadoop fs -text <src>
类似于cat，将源文件输出为文本格式
允许的格式是zip和TextRecordInputStream - touchz
hadoop fs -touchz URI [URI ...]
创建一个0字节的空文件 - truncate
hadoop fs -truncate [-w] <length> <paths>
文件截断
-w表示要求该命令等待回复完成 - usage
hadoop fs -usage command
返回命令的帮助信息 - find
hadoop fs - find <path > .. <expression>
查找满足表达式的文件和文件夹
没有配置path，默认是全部目录/
没有配置表达式，默认为-print
| expression选项 | 说明 |
|---|---|
| -name pattern | 不区分大小写，对大小写不敏感 |
| -iname pattern | 对大小写敏感 |
| 打印 | |
| -print0 | 打印在一行 |
- getfacl
hadoop fs -getfacl [-R] <path>
获取文件的ACL权限
-R指定递归查找
Java接口
连接Hadoop集群
Eclipse
IntelliJ IDEA
Hadoop分布式文件系统Java接口详细版
Hadoop分布式文件系统（HDFS）Java接口（HDFS Java API）详细版
简介
- Hadoop的FileSystem类是与Hadoop的某一文件系统进行交互的API
- DistributedFileSystem是HDFS实例
- 我们应该集成FileSystem抽象类，并编写代码，使其在不同文件系统中可移植，便于测试自己写的程序，例如可以使用本地文件系统中的存储函数快速进行测试
文件系统
HDFS文件系统详细版
简介
- Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现
- Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中一个文件系统的客户端接口，并且该抽象类有若干个具体实现
- Hadoop对文件系统提供了许多接口，它一般使用URI方案来选取合适的文件体系
hadoop fs -ls file:////命令可列出本地文件系统根目录下的文件
接口
Hadoop使用Java写的，通过Java API可以调用大部分Hadoop文件系统的交互操作
其他一些文件接口如下
- HTTP
- C语言
- NFS
- FUSE
有疑问的朋友可以在下方留言或者私信我，我尽快回答
欢迎各路大神萌新指点、交流！
求关注！求点赞！求收藏！