Hadoop集群中出现的节点有哪些作用?

例如:以下节点 

DFSZKFailoverController---控制故障转移

定期对本地的NameNode发起health-check的命令,如果NameNode正确返回,那么这个NameNode被认为是OK的。否则被认为是失效节点。ZK提供了一个简单的机制来保证只有一个NameNode是活动的。如果当前的活动NameNode失效了,那么另一个NameNode将获取ZK中的独占锁,表明自己是活动的节点。
作为一个ZK集群的客户端,用来监控NameNode的状态信息。每个运行NameNode的节点必须要运行一个zkfc.

JournalNode:

 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JournalNodes中的变更信息,并且一直监控edit log的变化,把变化应用与自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。为了确保快速切换,standby状态的NameNode有必要知道集群中所有数据块的位置。为了做到这点,所有的DataNodes必须配置两个NameNode的地址,发送数据块位置信息和心跳给他们两个。

对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,JournalNodes必须确保同一时刻只有一个NameNode可以向自己写数据。

 ResourceManager:

管理集群资源,负责全局资源的监控,分配和管理。接收来自NodeManager的心跳信息,进行整体资源的汇总,监控ApplicationMaster的开启和创建。

NodeManager:

yarn中的每一台节点服务器都运行一个NodeManager,NodeManager相当于管理当前机器的一个代理,负责本台机器的程序运行,并且对本台机器资源进行管理和监控,NodeManager定时向ResourceManager汇报本节点的资源(cpu,内存,磁盘)等使用情况,启动并监控Container(容器)。

NameNode:

 管理文件系统的命名空间,它维护着文件系统树及整棵树上所有文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件(FS_image)和编辑日志文件(Edit_log)。namenode也记录着每个文件中各个块所在的数据节点信息(包括副本数,用户对hdfs的操作),但它并不永久保存块的位置信息,因为这些信息会在系统启动时根据数据节点信息重建。

DataNode:

DataNode负责提供来自文件系统客户端的读写请求。可根据需要存储并检索数据块(受客户端或namenode调度),并且定期向namenode发送(通过心跳机制存储的块的列表。

猜你喜欢

转载自blog.csdn.net/Betty_betty_betty/article/details/84100615