MapReduce 流程介绍

1.图解

一个完整的过程，只是分为了两部分而已

1.1 图解1

1.2 图解2

2.流程简介

Job提交=》确认切片数=》确认开几个MapTask=》用什么key-value去读取数据=》执行自定义Mapper类写出数据到Shuffle缓存区=》Shuffle分区=》shuffle快速排序=》Shuffle分区合并=》进入归并排序=》按分区下载MapTask的数据到ReduceTask本地磁盘=》合并文件=》归并排序=》执行自己写的Reducer类=》写出数据

3.如果省去细节完整图解

如果上面觉得复杂可以先看下这个作为一个大概的理解，但是上面的详细流程一定要非常熟悉！！！

版权声明：本博客为记录本人自学感悟，转载需注明出处！
https://me.csdn.net/qq_39657909