以最常使用的Hadoop为例：
Hadoop是Apache公司开发的一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。
集群是指，2台或2台以上服务器构建节点，提供数据服务。单台服务器，无法处理海量的大数据。服务器越多，集群的威力越大。
Hadoop类似于一个数据生态圈，不同的模块各司其职。
Hadoop的LOGO是一只灵活的大象。关于LOGO的来源，网上众说纷纭，有人说，是因为大象象征庞然大物，指代大数据，Hadoop让大数据变得灵活。而官方盖章，LOGO来源于创始人DougCutting的孩子曾为一个大象玩具取名hadoop。
Hadoop的核心是HDFS,YARN和MapReduce，下面和大家讲一讲，几个主要模块的含义和功能。
1、HDFS(分布式文件存储系统)
数据以块的形式，分布在集群的不同节点。在使用HDFS时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需像使用本地文件系统一样管理和存储文件系统中的数据。
2、MapReduce(分布式计算框架)
分布式计算框架将复杂的数据集分发给不同的节点去操作，每个节点会周期性的返回它所完成的工作和最新的状态。大家可以结合下图理解MapReduce原理：
26d2000037034e122ddf.jpg
计算机要对输入的单词进行计数：
如果采用集中式计算方式，我们要先算出一个单词如Deer出现了多少次，再算另一个单词出现了多少次，直到所有单词统计完毕，将浪费大量的时间和资源。
如果采用分布式计算方式，计算将变得高效。我们将数据随机分配给三个节点，由节点去分别统计各自处理的数据中单词出现的次数，再将相同的单词进行聚合，输出最后的结果。
3、YARN(资源调度器)
相当于电脑的任务管理器，对资源进行管理和调度。
4、HBASE(分布式数据库)
HBase是非关系型数据库(Nosql)，在某些业务场景下，数据存储查询在Hbase的使用效率更高。
关于关系型数据库和菲关系型数据库的区别，会在以后的文章进行详述。
5、HIVE(数据仓库)
HIVE是基于Hadoop的一个数据仓库工具，可以用SQL的语言转化成MapReduce任务对hdfs数据的查询分析。HIVE的好处在于，使用者无需写MapReduce任务，只需要掌握SQL即可完成查询分析工作。
6、Spark(大数据计算引擎)
Spark是专为大规模数据处理而设计的快速通用的计算引擎
7、Mahout(机器学习挖掘库)
Mahout是一个可扩展的机器学习和数据挖掘库
8、Sqoop
Sqoop可以将关系型数据库导入Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中
除上述模块外，Hadoop还有Zookeeper、Chukwa等多种模块，因为是开源的，所以未来还有出现更多更高效的模块，大家感兴趣可以上网了解。
通过Hadoop强大的生态圈，完成大数据处理流程。
人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
大数据主要应用于哪些行业，应用价值是什么？
http://www.duozhishidai.com/article-1195-1.html
大数据应用越来越广泛， 大数据主要应用于哪些领域？
http://www.duozhishidai.com/article-1501-1.html
大数据应用，主要包括哪几种商业模式
http://www.duozhishidai.com/article-12470-1.html
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
