MapReduce的整体流程
1、待处理数据
2、提交客户端submit()
3、提交信息切片----hadoop jar wc.jar
4、计算出maptask数量----(nodemanger开辟maptask)
5、使用TextInputFormat读待处理数据----RecordReader
6、context.write()源码中用InputOutputContext向环形缓冲区写数据----默认分区和排序 默认为100M,超过80%发生溢写
7、归并排序
8、下载到reduceTask本地磁盘
9、合并文件,归并排序
10、一次读取一组
11、默认TextOutputFormat----RecordWrite
shuffle机制(map之后,reduce之前)
1、写入数据到唤醒缓冲区,默认100M,超过80%,发生溢写
2、第一次溢写,
3、进行分区
4、进行排序
5、合并,----Combiner可选操作,合并是区与里面发生排序就会触发
6、归并----合并是每个区内的合并,归并是区与区之间的合并
7、输出,context()写磁盘
8、拷贝
9、内存不够益处到磁盘
10、归并排序
11、按照相同的key分组