JobTracker和TaskTracker详解

 Hadoop的三大组件中MapReduce运行过程时,会启动进程JobTracker和TaskTracker。其中JobTracker位于Master节点中,TaskTracke位于Slave节点中,MapReduce任务运行结束,各自节点所对应的进程也随之消失。

JobTracker:

 Hadoop集群中的一个应用程序就是一个Job,而Job又被JobTracker分解成很多个Task;JobTracker还有一个最重要的功能就是状态监控,主要是TaskTracker状态监控、Job状态监控和Task状态监控 ,主要目的就是容错和为任务调度提供决策依据。

TaskTracker:

 TaskTracker主要从JobTtracker接受各种命令完成以下工作:启动任务、运行任务、提交任务、杀死任务、杀死作业和重新初始化等;周期性的通过心跳机制向JobTracker汇报如下信息:1)机器信息:节点是否存活、资源使用情况 2)任务级别信息:任务执行进度、任务运行状态

猜你喜欢

转载自blog.csdn.net/weixin_40083942/article/details/79263497
今日推荐