mapReduce浅析

MapReduce分为两个阶段:Mapper和Reducer,用户只需要实现map()和reduce()两个函数,即可实现分布式计算。

两个工作节点为ResourceManager,NodeManager。

ResourceManager工作职能:

1、管理nodeManager

2、检测NodeManager状态变换,通过RPC心跳实现。

3、任务的分配和调度,做到细粒度任务分配,比如某一个任务需要占用多大内存,需要多少计算资源。

NameNode工作职能:

1、收到resouceManager发过来的任务,并进行任务处理(map+reduce)

MapReduce执行步骤

1.map任务处理:

 1.1 读取hdfs文件内容,把内容中的每一行解析成一个键(key)值(value)对.键是字节的偏移量,值是每一行的内容,每一个键值对调用一次map函数.map函数处理输入的每一行.

 1.2 自定义map函数,写自己的逻辑,对输入的key,value(把每一行解析出的key,value)处理,转换成新的key,value输出.(比如,hello 1,hello 1,world 1)

 1.3 此时系统会进行shuffle操作,将key值相同的map进行合并,生成新的map(如 hello [1,1] world[1])

2.reduce任务处理:

    2.1 reduce中实现自己的业务逻辑。每一个map会调用一个reduce,如hello会调用一次reduce,此时   可用iterator对map进行遍历,输出hello 2。world会调用一次reduce,输出world 1.

    2.2 把reduce的输出保存到新的文件中.
   将ruduce内容写到hdfs中,可得到
   hello 2
   world 1 
   这样处理完毕的数据

在hadoop全局中不会有线程问题,因为hadoop起的是进程,不会有并发问题存在.

猜你喜欢

转载自blog.csdn.net/starkpan/article/details/86624887