区分HDFS的jobtracker与testtracker

hadoop的集群是基于master/slave模式,namenode和jobtracker属于master, datanode和tasktracker属于slave, master只有一个,而slave有多个。

secondaryNameNode内存需求和nameNode在一个数量级上,所以通常secondary namenode(运行在单独的物理机器上)和namenode运行在不同的机器上.

Jobtracker和tasktracker的区别是:

(1)Jobtracker对应于namenode, tasktracker对应于datanode.
(2)Datanode和namenode是针对数据存放而来的Jobtracker和tasktracker是对于mapreduce执行而言的.

Mapreduce中几个主要概念:

mapreduce整体上可以分为几条执行线索: jobclient, jobtracker和tasktracker.

Jobtracker是一个master服务,软件启动后jobtracker接收job, 负责调度job的每一个子任务task运行于tasktracker上,并监控它们,如果发现有失败的task就重新运行它。

一般情况应该把jobtracker部署在单独的机器上。
Tasktracker是运行在多个节点上的slaver服务。 Tasktracker主动与jobtracker通信,接收作业,并负责直接执行每一个任务。Tasktracker都需要运行在hdfs的

猜你喜欢

转载自blog.csdn.net/weixin_43166227/article/details/82629062
今日推荐