一、 分布式计算框架 MapReduce
1、产生背景
- Web2.0 时代，数据爆炸式、指数级增长，大数据分布式计算需求频繁
- 通过单机内存扩展来增强计算能力，已经无法承载大规模数据量的计算
- 分布式计算开发和维护的复杂与多变，对程序员要求太高
Google 公司为了解决其搜索引擎中大规模网页数据的并行化处理，研究提出的一种面向大规模数据处理的并行计算模型和方法，称为 MapReduce。
2003 年和 2004 年，Google 公司在国际会议上分别发表了两篇关于 Google 分布式文件系统和
MapReduce 的论文，公布了 Google 的 GFS 和 MapReduce 的基本原理和主要设计思想。
2004 年，Cutting 和同为程序员出身的 Mike Cafarella 决定开发一款可以代替当时的主流搜索产品的开源搜索引擎，这个项目被命名为 Nutch。2005 年初，Nutch 的开发人员在 Nutch 上实现了一个 MapReduce 系统，到年中，Nutch 的所有主要算法均完成移植，用 MapReduce 和 NDFS 来运行。在
2006 年 2 月，开发人员将 NDFS 和 MapReduce 移出 Nutch 形成 Lucene 的一个子项目，称为 Hadoop。
Hadoop 中 MapReduce 的实现正是基于 Google 的论文的 MapReduce 的开源实现。
2、MapReduce 是什么
MapReduce 是一种编程模型，是面向大数据并行处理的计算模型、框架和平台。
- MapReduce 是一个基于集群的高性能并行计算平台。可以使用普通服务器构成一个包含数十、数百、甚至数千个节点的分布式和并行计算集群。
- MapReduce 是一个并行计算与运行的软件框架。它提供了一个庞大但设计精良的并行计算软件框架，能自动划分计算数据和计算任务，自动完成计算任务的并行化处理，实现在集群节点上自动分配和执行任务并收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂实现细节交由系统负责处理，大大减少了软件开发人员的负担。
- MapReduce 是一个并行程序设计模型与方法。它提供了一种简便的并行程序设计方法，用 Map 和 Reduce 两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。
3、基本特点
- 分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态
- 封装了实现细节，基于框架 API 编程，面向业务展开分布式编码
- 提供跨语言编程的能力
二、 MapReduce 运行流程
1、MapReduce 的主要功能
（1）数据划分和计算任务调度
系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map 节点或 Reduce 节点)，同时负责监控这些节点的执行状态，并负责 Map 节点执行的同步控制。
（2）数据/代码互定位
为了减少数据通信，一个基本的原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移)，但尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。
（3）系统优化
为了减少数据通信开销，中间结果数据进入 Reduce 节点前会进行一定的合并处理；一个 Reduce 节点所处理的数据可能会来自多个 Map 节点，为了避免 Reduce 计算阶段发生数据处理不平衡，Map 节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个 Reduce 节点；此外，系统还进行一些及酸性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。
（4）出错检测和恢复
以低端的商用服务器构成的大规模 MapReduce 计算集群中，节点硬件(主机、磁盘、内存等)出错和软件出错是常态，因此 MapReduce 需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时系统还将维护数据存储的可靠性，用多备份冗余存储机制提高数据存储的可靠性， 并能及时检测和恢复出错的数据。
2、MapReduce 的运行流程
（1）运行流程
由上图可以看到 MapReduce 执行下来主要包含这样几个步骤：
- 首先对输入数据源进行切片
- master 调度 worker 执行 map 任务
- worker 读取输入源片段
- worker 执行 map 任务，将任务输出保存在本地
- master 调度 worker 执行 reduce 任务，reduce worker 读取 map 任务的输出文件
- 执行 reduce 任务，将任务输出保存到 HDFS
（2）运行流程详解
以 WordCount 为例
给定任意的 HDFS 的输入目录，其内部数据为“f a c d e……”等用空格字符分隔的字符串， 通过使用 MapReduce 计算框架来统计以空格分隔的每个单词出现的频率，输出结果如<a,10>,<b,20>,<c,2>形式的结果到 HDFS 目录中。
MapReduce 将作业的整个运行过程分为两个阶段：Map 阶段 Reduce 阶段。
Map 阶段由一定数量的 Map Task 组成，例如：
- 输入数据格式解析：InputFormat
- 输入数据处理：Mapper
- 数据分组：Partitioner
- 数据按照 key 排序
- 本地规约：Combiner（相当于 local reducer，可选）
- 将任务输出保存在本地
Reduce 阶段由一定数量的 Reduce Task 组成，例如：
- 数据远程拷贝
- 数据按照 key 排序
- 数据处理：Reducer
- 数据输出格式：OutputFormat
通常我们把从 Mapper 输出数据到 Reduce 读取数据之间的过程称之为 shuffle。