Hadoop-MapReduce+Yarn核心原理

1. MapReduce
核心：Hadoop体系下一个编程模型（计算框架），主要是用来操作HDFS中存储数据并对HDFS中数据进行计算
2. Map+Reduce
Map：用来对局部数据进行运算 局部运算
Reduce：对局部运算的结果做汇总运算 汇总运算

3. Yarn（统一资源调度器，任务资源管理器）
a. 整合hadoop集群中资源（CPU，内存）进行统一调度。 比如：12核，1234G;
监控map和reduce的执行情况
b. Yarn=ResoucerManage(Master)+NodeManager(slave)
c. ResoucerManager 仅仅进行资源统一调度
d. NodeManager 执行map，reduce作业，真正用来做计算的

注意：
a. DataNode一定是NodeManager;
b. MapReduce相当于代码层面；
c. Yarn ResourceManager相当于分布式操作系统，进行分配资源
4. job作业
a. 一组MapReduce也称之为一个job作业，代表一种计算
b. hadoop的集群中一定执行多个job作业