mapreduce 学习笔记

mapreduce基础概念

mapreduce是一个分布式计算框架(hadoop是mapreduce框架的一个免费开源java实现)。

mapreduce要点

  1. 主节点(master node)kongzhimapreduce的作业流程

  2. mapreduce的作业可分为map任务和reduce任务

  3. map任务之间不做数据交流,reduce同理

  4. 在map和reduce阶段有一个sort或combine阶段

  5. 数据被重复放在不同的机器上,以防某个机器失效

  6. map和reduce传输数据的形式为key/value对

猜你喜欢

转载自www.cnblogs.com/wujingqiao/p/10704025.html