Apache Hadoop学习笔记一

官网:http://hadoop.apache.org/

1 什么是Hadoop?

Apache™Hadoop®项目开发了用于可靠,可扩展的分布式计算的开源软件。

Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。 该库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,从而在计算机集群之上提供高可用性服务,每个计算机都可能容易出现故障。

2 Hadoop模块

该项目包括以下模块:

•Hadoop Common:支持其他Hadoop模块的常用实用程序。

•Hadoop Distributed File System(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。

•Hadoop YARN:作业调度和集群资源管理的框架。

•Hadoop MapReduce:基于YARN的系统,用于并行处理大型数据集。

•Hadoop Ozone:Hadoop的对象存储。

•Hadoop Submarine:Hadoop的机器学习引擎。

3 Hadoop相关的项目

•HBase™:可扩展的分布式数据库,支持大型表的结构化数据存储。

•Hive™:一种数据仓库基础架构,可提供数据汇总和即席查询。

•Pig™:用于并行计算的高级数据流语言和执行框架。

•Spark™:用于Hadoop数据的快速通用计算引擎。 Spark提供了一种简单而富有表现力的编程模型,支持广泛的应用程序,包括ETL,机器学习,流处理和图形计算。

•ZooKeeper™:用于分布式应用程序的高性能协调服务。

参考:

Hadoop官网首页

猜你喜欢

转载自www.cnblogs.com/mrray1105/p/10712284.html