MapReduce工作流程和原理

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_33054265/article/details/87385268

MapReduce的详细工作流程图如下：


MapReduce的主要工作原理：

1. MapTask收集map()方法输出的kv对，放到内存缓冲区中。
2. 从内存缓冲区不断溢出到本地磁盘文件，可能会溢出多个文件。
3. 多个溢出文件会被合并成大的溢出文件。
4. 在溢出过程以及合并过程中，都要调用Partitioner进行分区，以及针对key进行排序。
5. ReduceTask根据自己的分区号，去各个MapTask机器上取相应结果的分区数据。
6. ReduceTask会取到同一个分区的来自不同MapTask的结果文件，ReduceTask会将这些文件再进行合并（归并排序）。
7. 合并成大文件后，Shufle过程（Map方法之后Reduce方法之前的过程，图中第7步到第16步）也就结束了，后面进入ReduceTask的逻辑运算过程（从文件中取出一个一个的键值对，调用用户自定义的reduce()方法）。