MapReduce编程模板及shuffle过程简介

MapReduce运行流程(7步)：
作业启动>>>作业初始化>>>任务调度(Yarn)>>>map>>>shuffle>>>reduce>>>作业完成

• MapReduce将整个并行计算过程抽象到两个函数：
  
  • Map(映射)：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度并行。
  • Reduce(化简)：对一个列表的元素进行合并。
• 一个简单的MapReduce程序只需要指定map()、reduce()、input和output，剩下的事由框架完成。

---

• MapReduce模板：
  
• MapReduce编程模板类结构图：
  

---

参考代码：
Mapper处理：

private Text mapOutputKey = new Text();
private LongWritable mapOutputValue = new LongWritable(1);

……

String lineValue = value.toString();
String[] splits = lineValue.split("\t");
for (String split : splits) {
    mapOutputKey.set(split);
    context.write(mapOutputKey, mapOutputValue);
}

Reduce处理：

private LongWritable outputValue = new LongWritable();

……

long sum = 0;
for (LongWritable value : values) {
    sum += value.get(); 
}
outputValue.set(sum);
context.write(key, outputValue);

Driver设置Map

Driver设置Reduce

---

shuffle：shuffle一部分过程发生在map端，一部分发生在reduce端，如下图框选部分

Map端shuffle主要包含7部分：
1.环形缓存区：默认大小100M mapreduce.task.io.sort.mb
2.partition分区：HashPartitioner，决定数据交给哪个reduce处理
3.sort:按照key进行字典顺序排序,为了归约合并
4.combine(可选):默认情况下相当于map阶段reduce
5.spill：当环形缓存区容量达到80M(0.8)，会把缓存区的数据写入本地磁盘(不是HDFS)临时目录 mapreduce.map.sort.spill.percent
6.merge:把很多小文件合并成一个大文件
7.compress(可选):减轻网络IO的压力
Reduce端的shuffle相对简单，每个reduce会从map的输出结果中拉取自己对应的分区数据
1.merge 合并：key相同的文件进行合并并放置到一起
2.group 分组：相同key的value值放在一起（list）