MapReduce十步执行流程 (详细介绍)

第一步:InputFormat

InputFormat 在HDFS文件系统中读取要进行计算的数据
输出给Split

第二步:Split

Split 将数据进行逻辑切分,切分成多个任务。
输出给RR

第三步:RR

RR 将切分后的数据转换成key value进行输出
key : 每一行行首字母的偏移量
value: 每一行数据
输出给Map

第四步:Map

接收一条一条的数据(有多少行数据Map运行多少次,输出的次数根据实际业务需求而定)
根域业务需求编写代码
Map的输出是 key value的 list
输出给Shuffle(partition)

---------------------------------------Map-------------------------------------------------------

第五步: partition

partition: 按照一定的规则对 **key value的 list进行分区
输出给Shuffle(sort)

扫描二维码关注公众号,回复: 9719458 查看本文章

第六步:Sort

Sort :对每个分区内的数据进行排序。
输出给Shuffle(Combiner)

第七步:Combiner

Combiner: 在Map端进行局部聚合(汇总)
目的是为了减少网络带宽的开销
输出给Shuffle(Group)

第八步:Group

Group: 将相同key的key提取出来作为唯一的key
将相同key对应的value提取出来组装成一个value 的List
输出给Shuffle(reduce)

------------------------------------Shuffle--------------------------------------------

第九步:reduce

reduce: 根据业务需求对传入的数据进行汇总计算。
输出给Shuffle(outputFormat)

第十步:outputFormat
outputFormat:将最终的额结果写入HDFS

------------------------------------reduce--------------------------------------------

在这里插入图片描述

发布了26 篇原创文章 · 获赞 13 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/weixin_44466534/article/details/103075167