We all know hadoop for big data, but various technologies will come into our field of vision: Spark, Storm, impala, which we cannot reflect. In order to better structure big data projects, here is a list for technicians, project managers, and architects to choose appropriate technologies, understand the relationship between various technologies of big data, and choose appropriate languages.
We can read this article with the following questions:
1.What technology does hadoop contain?
2. What is the relationship between Cloudera and hadoop, what products do they have, and what features does the product have?
3. What is the relationship between Spark and hadoop?
4. What is the relationship between Storm and hadoop?
hadoop family
Founder: Doug Cutting
The entire Hadoop family consists of the following sub-projects:
Hadoop Common：
A module at the bottom of the Hadoop system that provides various tools for Hadoop sub-projects, such as configuration files and log operations.
HDFS：
It is the main distributed storage system in Hadoop applications. The HDFS cluster includes a NameNode (master node), which is responsible for managing the metadata of all file systems and the DataNode (data nodes, there can be many) that store the real data. HDFS is designed for massive data, so compared to the optimization of traditional file systems for large batches of small files, HDFS optimizes the access and storage of small batches of large files.
MapReduce：
is a software framework to easily write parallel applications that process massive (terabytes) data, connecting tens of thousands of nodes (commodity hardware) in large clusters in a reliable and fault-tolerant manner.
Hive：
Apache Hive是Hadoop的一个数据仓库系统，促进了数据的综述（将结构化的数据文件映射为一张数据库表）、即席查询以及存储在Hadoop兼容系统中的大型数据集分析。Hive提供完整的SQL查询功能——HiveQL语言，同时当使用这个语言表达一个逻辑变得低效和繁琐时，HiveQL还允许传统的Map/Reduce程序员使用自己定制的Mapper和Reducer。hive类似CloudBase，基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据 的汇总，即席查询简单化。
Pig：
Apache Pig是一个用于大型数据集分析的平台，它包含了一个用于数据分析应用的高级语言以及评估这些应用的基础设施。Pig应用的闪光特性在于它们的结构经得起大量的并行，也就是说让它们支撑起非常大的数据集。Pig的基础设施层包含了产生Map-Reduce任务的编译器。Pig的语言层当前包含了一个原生语言——Pig Latin，开发的初衷是易于编程和保证可扩展性。
Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。
HBase：
Apache HBase是Hadoop数据库，一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实时的读/写访问，并针对了商用服务器集群上的大型表格做出优化——上百亿行，上千万列。其核心是Google Bigtable论文的开源实现，分布式列式存储。就像Bigtable利用GFS（Google File System）提供的分布式数据存储一样，它是Apache Hadoop在HDFS基础上提供的一个类Bigatable。
ZooKeeper：
Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
Avro：
Avro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。
Sqoop:
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库中数据导入Hadoop的HDFS中，也可以将HDFS中数据导入关系型数据库中。
Mahout:
Apache Mahout是个可扩展的机器学习和数据挖掘库，当前Mahout支持主要的4个用例：
推荐挖掘：搜集用户动作并以此给用户推荐可能喜欢的事物。
聚集：收集文件并进行相关文件分组。
分类：从现有的分类文档中学习，寻找文档中的相似特征，并为无标签的文档进行正确的归类。
频繁项集挖掘：将一组项分组，并识别哪些个别项会经常一起出现。
Cassandra：
Apache Cassandra是一个高性能、可线性扩展、高有效性数据库，可以运行在商用硬件或云基础设施上打造完美的任务关键性数据平台。在横跨数据中心的复制中，Cassandra同类最佳，为用户提供更低的延时以及更可靠的灾难备份。通过log-structured update、反规范化和物化视图的强支持以及强大的内置缓存，Cassandra的数据模型提供了方便的二级索引（column indexe）。
Chukwa：
Apache Chukwa是个开源的数据收集系统，用以监视大型分布系统。建立于HDFS和Map/Reduce框架之上，继承了Hadoop的可扩展性和稳定性。Chukwa同样包含了一个灵活和强大的工具包，用以显示、监视和分析结果，以保证数据的使用达到最佳效果。
Ambari：
Apache Ambari是一个基于web的工具，用于配置、管理和监视Apache Hadoop集群，支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘，比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力，以友好的用户界面对它们的性能特性进行诊断。
HCatalog
Apache HCatalog是Hadoop建立数据的映射表和存储管理服务，它包括：
提供一个共享模式和数据类型机制。
提供一个抽象表，这样用户就不需要关注数据存储的方式和地址。
为类似Pig、MapReduce及Hive这些数据处理工具提供互操作性。
Chukwa：
Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。
Cloudera系列产品：
创始组织：Cloudera公司
1.Cloudera Manager:
有四大功能
（1）管理
（2）监控
（3）诊断
（4）集成
2.Cloudera CDH：英文名称：CDH (Cloudera’s Distribution, including Apache Hadoop)
Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。
3.Cloudera Flume
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。
Flume采用了多Master的方式。为了保证配置数据的一致性，Flume[1]引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。
4.Cloudera Impala
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
5.Cloudera hue
Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。
Spark
Founding Organization: Developed by AMP Lab (Algorithms, Machines, and People Lab) at UC Berkeley
Spark is an open source cluster computing environment similar to Hadoop, but there are some differences between the two that make Spark superior for certain workloads, in other words, Spark enables In addition to being able to provide interactive queries, it can also optimize iterative workloads.
Spark is implemented in the Scala language, which uses Scala as its application framework. Unlike Hadoop, Spark and Scala are tightly integrated, where Scala can manipulate distributed datasets as easily as native collection objects.
Although Spark was created to support iterative jobs on distributed datasets, it is actually a complement to Hadoop and can run in parallel on the Hadoop file system. This behavior is supported through a third-party clustering framework called Mesos. Spark was developed by the UC Berkeley AMP Lab (Algorithms, Machines, and People Lab) to build large-scale, low-latency data analytics applications.
Storm
Twitter officially open sourced Storm, a distributed, fault-tolerant real-time computing system hosted on GitHub under the Eclipse Public License 1.0. Storm is a real-time processing system developed by BackType, which is now owned by Twitter. The latest version on GitHub is Storm 0.5.2, basically written in Clojure.
http://www.thinksaas.cn/topics/0/611/611621.html