3.1 MapReduce基础
任务的分解与结果的汇总。
MapReduce框架负责分布式存储、工作调度、负载均衡、容错处理、网络通信.....复杂的任务有框架完成。
MapReduce集群行为：
1、任务调度与执行
MapReduce任务有JobTracker和TaskTracker两类节点控制。JT负责调度和管理TJ，TJ负责任务的并行计算。TaskTracker必须运行在DataNode上，DN即是数据节点，也是计算节点。
2、本地计算
“移动计算比移动数据更经济”！把计算节点和数据节点置于同一个节点上，这种方式减少了网络开销。split通常应小于或等于HDFS数据块大小，保证split不会跨越两台计算机存储。
3、Shuffle过程
Mapper的数据结果按照key划分为R（预先设定的Reducer数量）份，划分使用哈希函数，hash(key) mod R，保证一个范围内的key一定有某个Reduce处理
4、combine
将中间结果拥有相同key值的一组数据进行合并，合并后为<key,list<value>>。Combine是Mapper的一部分，在map函数后shuffle之前执行。保证combine执行多次，得到的结果应该是一样的。
5、读取中间结果
完成combine和shuffle后，通知JobTracker中间结果文件的存放位置，JK告诉Recuer到哪个Mapper节点上取数据。Mapper的输出结果写道本地磁盘，不是HDFS，Reducer结束后数据被删除。
6、任务管道
R个Reducer会产生R个结果，这个R结果可能被当成另一计算任务的输入，并开始另一个MapReduce任务。
3.2 样例分析：单词计数
3.3 MapReduce
Map任务和Reduce任务执行时必须获得一个slot才能继续，否则只能等待，执行完成后释放slot。
slot分为Map Slots和Reduce Slots，分别对应可执行的Mapper数和Reducer数，mapred-site.xml可以设置。
3.4 倒排索引
P74