3 MapReduce简单原理

Map 任务 (分割及映射)

Reduce 任务 (重排,还原)

 

1 作业被分成多个任务,然后运行到集群中的多个数据节点。

2 JobTracker的责任是协调活动调度任务来在不同的数据节点上运行。

3 单个任务的执行,然后由 TaskTracker 处理,它位于执行工作的一部分,在每个数据节点上。

4 TaskTracker 的责任是发送进度报告到JobTracker。

5 此外,TaskTracker 周期性地发送“心跳”信号信息给 JobTracker 以便通知系统它的当前状态。

6 这样 JobTracker 就可以跟踪每项工作的总体进度。在任务失败的情况下,JobTracker 可以在不同的 TaskTracker 重新调度它。

 

参考链接:

https://www.yiibai.com/hadoop/intro-mapreduce.html

猜你喜欢

转载自blog.csdn.net/qq_42198024/article/details/108059318