H adoop 的 W eb 管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控。
文件系统监控:
浏览文件系统;
namenode 的日志列表以及查看日志;
集群的概况,包括配置容量、 DFS 占用容量、非 DFS 占用容量、 DFS 的可使用容量、 DFS 已使用百分比、 DFS 可使用百分比、活结点数、死节点数、 namenode 的存储目录及类型和状态;
点击活节点或者死节点数可以看到所有对应节点的类表,以及他们的节点名称, Last Contact 的值( Last Contact 的意思是表明 DataNode 有多少秒时间未向 NameNode 发送心跳包了),管理状态,配置容量,已使用容量,非 DFS 使用容量,剩余容量,已使用百分比,已使用的进度条,剩余百分比,块数。
任务监控:
集群摘要信息(堆的大小,所占的比例), Map 任务数, Reduce 任务数,共有意见书,节点数量, Map 任务能力, Reduce 任务能力,平均任务和节点(这点我不明白什么意思,原文: Avg. Task/Node ),列入黑名单的节点;
调度信息:队列名称,调度信息;
过滤查询:可根据 Jobid ,优先级,用户名等信息查询任务;
可以查看正在运行,已经完成或者执行失败的 Job 的信息:状态,完成所需时间,该 Job 的 map 和 reduce 信息:完成进度,总任务数,待完成任务数,正在执行的,已完成的,死掉的,失败的和死掉的个数比(按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比);
还有各种数据的统计包括 Job 、 FileSystem 、 Map-Reduce Framework ,统计具体小点太多,并且有一些统计功能我不是很了解,比较模糊,还是上图,如下: