hadoop学习笔记 一

Hadoop 2.x
  * common
  * HDFS
    存储数据
		NameNode 主从结构 
			* 存储文件系统的元数据,命名空间namespace
		DataNode
			* 存储数据
		SecondaryNameNode
			* 辅助NameNode工作,合并两个文件(定时周期性)
	* YRAN
		Hadoop 操作系统
		Data 操作系统
		Container
		ResouceManager
			* 整个集群资源的管理和调度
		NodeManager
			* 管理每个节点的资源与调度
	* MapReduce
		分而治之
		* Map 
			"分",
		* Reduce
			"合并"
		input->map->reduce->output
		* 分布式并行的计算框架
	运行模式:
		* 本地模式
		* yarn模式
		
		
	

  

猜你喜欢

转载自www.cnblogs.com/gylhaut/p/10056183.html