Federation 简介

HDFS的局限性(HDFS只有一个active的namenode):

1. 在name中存储所有的元数据(metadata),因此单个namenode所能存储的对象(块+文件)数据受到namenode所在JVM的heap size的限制。

2. 整个HDFS文件系统的吞吐量受限于单个namenode的吞吐量

3. 无法隔离namespace

Federation HDFS 与 HDFS的区别

HDFS只有一个name space, 它使用全部的块。 而Federation HDFS 中有多个独立的namespace,每个命名空间使用一个block Pool

Bolck Pool : 维护单个命名空间的所有block。Data node是一个物理概念,而block pool是一个重新将block划分的逻辑概念。同一个DataNode可以存储 着属于多个blocknode的多个块。block允许一个命名空间在不通知其它命名空间的情况下为一个新的block创建blockID。同时,一个namenode失效不会影响旗下的DataNode为其它namenode服务。

Federation HDFS 架构图



 

 Federation HDFS HA架构图


 其中 NN1 NN3 属于同一个namenode, NN2 NN4 属于同一个namenode

参考:

http://www.jikexueyuan.com/course/2570.html

猜你喜欢

转载自oracle-api.iteye.com/blog/2368231