Hadoop自带Web管理监控功能

        H adoop W eb 管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控。

 

文件系统监控:

 

       浏览文件系统;

       namenode 的日志列表以及查看日志;

       集群的概况,包括配置容量、 DFS 占用容量、非 DFS 占用容量、 DFS 的可使用容量、 DFS 已使用百分比、 DFS 可使用百分比、活结点数、死节点数、 namenode 的存储目录及类型和状态;

       点击活节点或者死节点数可以看到所有对应节点的类表,以及他们的节点名称, Last Contact 的值( Last Contact 的意思是表明 DataNode 有多少秒时间未向 NameNode 发送心跳包了),管理状态,配置容量,已使用容量,非 DFS 使用容量,剩余容量,已使用百分比,已使用的进度条,剩余百分比,块数。

 

任务监控:

 

       集群摘要信息(堆的大小,所占的比例), Map 任务数, Reduce 任务数,共有意见书,节点数量, Map 任务能力, Reduce 任务能力,平均任务和节点(这点我不明白什么意思,原文: Avg. Task/Node ),列入黑名单的节点;

       调度信息:队列名称,调度信息;

       过滤查询:可根据 Jobid ,优先级,用户名等信息查询任务;

       可以查看正在运行,已经完成或者执行失败的 Job 的信息:状态,完成所需时间,该 Job map reduce 信息:完成进度,总任务数,待完成任务数,正在执行的,已完成的,死掉的,失败的和死掉的个数比(按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比);

       还有各种数据的统计包括 Job FileSystem Map-Reduce Framework ,统计具体小点太多,并且有一些统计功能我不是很了解,比较模糊,还是上图,如下:


猜你喜欢

转载自dagmom.iteye.com/blog/1622036