MapReduce的整体流程、及shuffle机制

MapReduce的整体流程
    1、待处理数据
    2、提交客户端submit()
    3、提交信息切片----hadoop jar wc.jar
    4、计算出maptask数量----(nodemanger开辟maptask)
    5、使用TextInputFormat读待处理数据----RecordReader
    6、context.write()源码中用InputOutputContext向环形缓冲区写数据----默认分区和排序    默认为100M,超过80%发生溢写
    7、归并排序
    8、下载到reduceTask本地磁盘
    9、合并文件,归并排序
    10、一次读取一组
    11、默认TextOutputFormat----RecordWrite


shuffle机制(map之后,reduce之前)
    1、写入数据到唤醒缓冲区,默认100M,超过80%,发生溢写
    2、第一次溢写,
    3、进行分区
    4、进行排序
    5、合并,----Combiner可选操作,合并是区与里面发生排序就会触发
    6、归并----合并是每个区内的合并,归并是区与区之间的合并
    7、输出,context()写磁盘
    8、拷贝
    9、内存不够益处到磁盘
    10、归并排序
    11、按照相同的key分组
 

猜你喜欢

转载自blog.csdn.net/weixin_42898914/article/details/84891358