谁说大象不能跳舞
Hadoop——轻松应对海量数据存储与分析
海量数据：
量，大，数据多，数据量到达PB,ZB级别，条目数达到上几十亿条百亿条
1KB (Kilobyte 千字节)=1024B，
1MB (Megabyte 兆字节 简称“兆”)=1024KB，
1GB (Gigabyte 吉字节 又称“千兆”)=1024MB，
1TB (Terabyte 万亿字节 太字节)=1024GB，其中1024=2^10 ( 2 的10次方)，
1PB（Petabyte 千万亿字节 拍字节）=1024TB，
1EB（Exabyte 百亿亿字节 艾字节）=1024PB，
1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB,
1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024 ZB,
1BB (Brontobyte 一千亿亿亿字节)= 1024 YB.
存储：
分布式，集群的概念,管理（主节点，从节点），HDFS（Hadoop Distributed FileSystem）
分析：
分布式，并行，离线计算框架，管理（主节点，从节点）,MapReduce
Apache Hadoop logo
起源
Apache lucene：开源的高性能性能全文检索工具包
Apache Nutch：开源的Web搜索引擎
Google三大论文：MapRedure/GFS/BigTable
Apache Hadoop：大规模数据处理
HDFS->GFS开源文件系统
Google MapReduce->Hadoop MapReduce开源的分布式并行结算框架
BigTable->HBase 开源的分布式数据库
大数据，云计算
大数据：
数据量大，数据有价格，分析挖掘
云计算：
云计算由三层构成：IAAS,PAAS,SAAS
IAAS：基础设施即服务，典型实现有Amazon EC2，OpenStack,CloudStack，Rackspace等
OpenStack可以构建公司的私有云平台
PAAS：平台即服务，典型实现有Google AppEngine，Apache Hadoop
SAAS：软件即服务，典型实现有：Google Apps
Hadoop——Big Data Platform
数据存储
HDFS
-Distributed across “nodes” 分布式节点
-Natively redundant 本地化
Name node tracks location 名称节点跟踪位置
数据处理
Map Reduce
-Splits a task across processors，”near” line data & assembles 任务分割机器处理
-self-Heading,High Brandwidth clustered Storage 自身的处理，高
Apache Hadoop特点
扩展性（Scalable）
成本低
高效率（Flexible）
可靠性
Apache Hadoop能解决哪些问题
诉求
速度，深度，固定资产
问题
磁盘IO成为一种瓶颈，而非CPU资源
网络带宽是一种稀缺资源
硬件故障成为影响稳定的一大因素
Hadoop发展历史
经典版本： 0.20.2 -> 1.0.0(第一个1.0.0正式版本) ->1.0.3或者1.0.4非常好
2.x版本：
2,2,0, 2.3.0, 2.4.0正式版本，用于实际
ETL ：
提取 -> 转换 -> 加载
从数据库中获取数据，并进行一系列的数据清理和清洗筛选，将合格的数据进行转换成一定的格式数据进行存储，将格式化的数据存储到HDFS文件系统上，以供计算框架进行数据分析和挖掘。
格式化数据：
1-TSV格式 ：每行数据的每列之间以【制表符\t】 进行分割
2-CVS格式：每行数据的每列之间以【逗号】进行分割
Sqoop：
将关系型数据库中的数据与HDFS(HDFS文件，HBase中标,Hive)上的数据进行相互导入导出
Flume：
收集各个应用系统和框架的日志，并将其放到HDFS分布式文件系统的相应制定的目录下。
对于分布式系统和框架的架构来说，一般分为两部分，
第一部分：管理层，用于管理应用层的
第二部分：应用层（工作的）
HDFS，分布式文件系统
NameNode（元数据服务器）：属于管理层，用于管理数据的存储
Secondary NameNode（辅助元数据服务器）：也属于管理层，辅助NameNode进行管理
DataNodes（块存储）属于应用层，用于进行数据的存储，被NameNode进行管理，要定时的向NameNode进行工作汇报，执行NameNode分配分发的任务。
MapReduce分布式的并行计算机架
JobTracker（任务调度员） 属于管理层，管理集群资源和对任务进行资源调度，监控任务的执行。
TaskTracker（任务执行）属于应用层，执行JobTracker分配分发的任务，并向JobTracker汇报工作情况。
HDFS框架的讲解
NameNode. 存储文件的元数据
1) 文件名称
2) 文件的目录结构
3) 文件的属性（权限，副本数，生成的时间）
4) 文件 ——>（对应） Block块——>（存储在）DataNodes上
MapReduce框架讲解和MapReduce思想原理讲解
Apache Hadoop 安装部署模式
单机（本地）模式（Standalone Mode）
伪分布模式（Pseudo-Distributed Mode）
全分布模式（Fully Distributed Mode）