hadoop学习笔记之分布式计算框架

分布式计算框架：移动计算而不是移动数据，移动计算就是把你写好的计算
程序拷贝到不同的计算节点上运行

MapReduce适合做离线计算
Storm适合做流失计算
Spark适合做内存计算框架

从HDFS上存储的数据作为我们MapReduce的一个输入，首先把一个文件切成片，

然后map计算 接着shuffle,接着reduce,最终把结果存储在HDFS文件系统上面。