大数据技术与Apache Hadoop生态的进化

一、什么是大数据

对于“大数据”（Big data）研究机构 Gartner 给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
以上的概念体现出了两个关键信息，一个是数据量大，一个是数据形态多样。

（1）数据量有多大呢？

以百度系统为例，它每天要产生100TB~1PB的日志数据。一般我们电脑的硬盘是1TB的。那就需要电脑的100块硬盘到1024块硬盘。

（2）数据形态有哪些呢？

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：522189307，有大量干货（零基础以及进阶的经典实战）分享给大家，让大家了解到目前国内最完整的大数据高端实战实用学习流程体系。从java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享！

按照存储形态来分，数据可以分成三类，结构化数据、非结构化数据和半结构化数据。结构化数据仅占到全部数据量的20%，其余80%都是以文件形式存在的非结构化和半结构化数据。各种文档、图片、视频/音频等都属于非结构化数据。

二、大数据技术：Apache Hadoop体系

Apache Hadoop应运而生，它是一个能够对大量数据进行分布式处理的软件框架。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
到目前为止，Hadoop 技术在互联网领域已经得到了广泛的运用，例如，Yahoo 使用4000 个节点的Hadoop集群来支持广告系统和Web 搜索的研究；Facebook 使用1 000 个节点的Hadoop集群存储日志数据，支持其上的数据分析和机器学习；百度用Hadoop处理每周几百TB的数据，从而进行搜索日志分析和网页数据挖掘工作；淘宝的Hadoop 系统用于存储并处理电子商务交易的相关数据......
Hadoop自2006年发布发展至今经历了一系列的升级，已经形成了一套完善的生态体系。

可以将该体系分为核心项目+周边项目
核心项目包括：

HDFS（分布式文件存储系统）
MapReduce（并行式计算框架）

周边项目包括：

Zookeeper：分布式协作服务，解决分布式环境下的数据管理问题如统一命名、状态同步、集群管理、配置同步等。Hadoop的许多组件依赖于Zookeeper，它运行在计算机集群上面，用于管理Hadoop操作
Hbase：分布式NoSQL列数据库
Hive：数据仓库工具，由Facebook贡献
Pig：一个针对并行计算的高级数据流工具和执行框架
Spark：一个针对Hadoop数据的快速和通用的计算引擎。Spark提供了一个简单和生动的编成模型，这个编程模型可以支持广泛的应用程序，例如ETL，机器学习，流处理和图形运算
Flume：分布式海量数据采集、聚合、传输系统，常用于日志收集
Ambari：Hadoop管理工具，可以快捷监控、部署、管理集群
Sqoop：数据ETL/同步工具，用在Hadoop与传统的数据库间进行数据的传递
Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
Mahout：一个可扩展的机器学习和数据挖掘库

（1）Hadoop 1.X时期生态体系架构

hadoop1.x是指hadoop的第1.0时代，从版本的角度来看基本是指在hadoop0.23.x和hadoop1.2.1版本之前的所有发行版，Cloudera公司发行的CDH3系列，时间上大概是在2013年以前，其核心主要由HDFS和MapReduce组成，HDFS是用于存储数据的，MapReduce是用于计算处理数据的。

（2）Hadoop 2.X时期生态体系架构

hadoop2.x是指hadoop的第2.0代，一般是指从2013年2月发布的hadoop2.0.3版以后的版本，Cloudera公司发行的CDH4、CDH5系列，其核心组件除了原有的HDFS、MapReduce以外又增加了Yarn资源管理系统，Yarn负责整个集群资源的管理和调度，而原有的MapReduce则运行在Yarn上面。

三、基于Hadoop的系统架构设计

（1）爱奇艺数据技术架构

（2）美团数据技术架构