Hadoop笔记

1.Hadoop 从三个角度将主机划分为二种角色。

第一,最基本划分为Master和Slave;

第二,从HDFS角度上,划分为NameNoe(目录管理者)和DataNode;

第三,从MapReduce角度上,划分为JobTracker和TaskTracker.

2.Hadoop三种运行方式:

 单机模式:无需配置,单进程,用于调试;

 伪分布式:一个节点的集群,配置简单

 完全分布式:

3.起于2002 Apache Nutch.06年独立,HDFS + MapRedue 。HDFS高容错,数据管理,基于Java,移植。MapReduce 处理任务高效及开源。  可靠,可扩展,高效,高容错。

08.02 Yahoo 2000个节点上1W个Hadoop虚拟机处理5PB网页。

4.特点原理:

 数据分布存储;NameNode ,DataNode HDFS block; 64MB

 分布式并行计算;主控JobTracker,用户提交的计算叫Job,每一个Job会被划分成若干个Tasks,JobTracker负责Job和Tasks的调度,而TaskTracker负责执行Tasks;

 本地计算,数据存储在哪台上,就在哪台上执行;

 任务粒度;64MB,M个小数据集,M个Map任务;

 数据分割, Hash(key) mod R;

 数据合并,对中间结果合并;

 Reduce,形成最终结果文件 ;

 任务管道,结果成为另一个计算任务的输入,开始下一个任务。

5.MapReduce 是大规模数据(TB)计算的利器,Map和Reduce是它的主要思想,来源于函数式编程语言,原理:

 Map负责将数据打散,Reduce负责将数据进行聚集,用户只需要实现map和reduce二个接口,即可完成TB级数据的计算,常见的应用包括:日志分析,数据挖掘等数据分析应用,还有科学数据计算等。

猜你喜欢

转载自zhengchao123.iteye.com/blog/1858231
今日推荐