版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014645652/article/details/80274897
第2章 Hadoop核心HDFS
2-1 HDFS概念及优缺点
Hadoop是什么
Hadoop是一个开源的大数据框架
Hadoop是一个分布式计算的解决方案
Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)
Hadoop核心
HDFS 分布式文件系统：存储是大数据技术的基础
MapReduce 编程模型：分布式计算是大数据应用的解决方案
HDFS总结
普通的成百上千的机器
按TB甚至PB为单位的大量的数据
简单便捷的文件获取
HDFS基础架构
1.HDFS概念
数据块
数据块是抽象块而非整个文件作为存储单元
默认大小为64MB，一般设置为128M，备份X3
NameNode
管理文件系统的命名空间，存放文件元数据
维护着文件系统的所有文件和目录，文件与数据块的映射
记录每个文件中各个块所在数据节点的信息
DataNode
存储并检索数据块
向NameNode更新所存储块的列表
2.HDFS优点
适合大文件存储，支持TB、PB级的数据存储，并有副本策略
可以构建在廉价的机器上，并有一定的容错和恢复机制
支持流式数据访问，一次写入，多次读取最高效
3.HDFS缺点
不适合大量小文件存储
不适合并发写入，不支持文件随机修改
不支持随机读等低延时的访问方式
Hadoop2伪分布式安装：https://www.imooc.com/article/24911