hadoop 学习历程二

hadoop生态圈:

Common 一组分布式文件系统和通用i/o的组件接口(序列化,java rpc 和持久化数据结构)

Avro 一种支持高效,跨语言的RPC以及永久存储数据的序列化系统

MapReduce 分布式数据处理模型和执行环境,运行于大型商用机集群

HDFS 分布式文件系统 运行于大型商用机集群

Pig 一种数据流语言和运行环境,用以检索非常大的数据集。比如运行在MapReduce和HDFS集群上

Hive 一个分布式,按列存储数据库。Hive管理HDFS中存储的数据,并提供基于sql的查询语言(运行时引擎翻译成MapReduce作业)用以查询数据。

Hbase 一个分布式,按列存储数据库。Hbase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)

Zookeeper 一个分布式、可用性高的协调服务。Zookeeper提供了分布式锁之类的基本服务用于构建分布式应用

Sqoop 在数据库和HDFS之间高效传输数据的工具

-----------------------------------------------------------------

hadoop  2.0.3 和网上介绍的版本有点不一样

它的config文件是在etx里面。startall 是在sbin里面

猜你喜欢

转载自107192468a.iteye.com/blog/1813982