Hadoop HDFS体系结构概述

HDFS是Hadoop的核心模块,Hadoop体系结构主要通过HDFS来实现分布式存储,

HDFS的体系结构,采用主从(Master/Slave)结构模型。一个HDFS集群由一个NameNode和若干个DataNode组成。

其中NameNode作为主服务器,管理文件系统的命名空间和处理客户端的文件读写操作。集群中的DataNode管理

存储的数据。

当文件进行存储时,文件被划分为若干个数据块,并且这些数据块会被放在集群的各个节点(DataNode)上。NameNode

执行文件系统的命名空间操作,比如打开,关闭,重命名文件‘目录等,负责数据块到具体DataNode的映射。DataNode

负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建,删除,复制等操作。

NameNode和DataNode都被设计成可以在普通计算机上运行的结构。一个典型的部署场景时集群中的一台机器运行一个

NameNode实例,其它机器分别运行着DataNode实例,而NameNode是所有HDFS元数据的管理者

扫描二维码关注公众号,回复: 5307066 查看本文章

猜你喜欢

转载自blog.csdn.net/qq_33369979/article/details/87884791