Hadoop快速入门（一）

Hadoop快速入门（一）

几个概念：

大数据：无法在一定时间内用常规软件工具对其内容进行撞去、管理和处理的数据集合。

大数据技术：从各种各样类型的数据中，快速获得由价值信息的能力。

配套技术：大规模并行处理数据库（MPP），数据挖掘，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统。

Hadoop:以HDFS和mapreduce为核心。

Hadoop生态：

Hive,HBase,Pig,Sqoop,Flume,Zookeeper,Mahout,Spark,Storm,Shark,Phoenix,Tez,Ambari。

Hive:用于Hadoop的一个数据仓库系统，他提供了类似于SQL的查询语言
HBase:一种分布的，可伸缩的，大数据存储库，，支持随机、实时读/写访问
Pig:分析大数据集的一个平台
Sqoop:为高校传输批量数据而设计的一种工具，其用于Hadoop和结构化数据存储库如关系数据库之间的数据传输
Flume:一种分布式的、可靠的、可用的服务，其用于高效搜集，汇总，移动大量日志数据
Zookeeper:一种集中服务，其用于维护配置信息，命名，提供分布式同步，以及提供分组服务
Mahout:一种基于Hadoop及其学习和数据挖掘的分布式计算框架算法集，实现了多种MapReduce模式的数据挖掘算法
Spark:一个开源的数据分析集群计算框架，采用Scala语言实现，使用Scala作为应用框架
Storm:一个分布式的、容错的实时计算系统。属于流处理平台，多用于实时计算，并更新数据库。可对数据流做连续查询。还可以用于“分布式RPC”，以并行的方式运行大型的运算。
Shark:一个专为Spark打造的大规模数据仓库系统，兼容Hive。可以用100倍的速度执行Hive QL。
Phoenix:一个构建在HBase之上的一个SQL中间层，完全使用java编写，提供了一个客户端可嵌入的JDBC驱动。
Tez:一个基于YARN之上的DAG。拆分子过程，合并子过程。加快运算速度。
Ambari:一个供应、管理和监视Hadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的Hadoop API，可以隐藏复杂的Hadoop操作，使集群操作大大简化。

安装与配置

操作系统：$CentOS 6.4 64 bit$
虚拟机：$VMware 9.0$
Hadoop:$2.X$
JDK:$1.7$

安装过程：
1、配置VMware网络
2、安装操作系统，安装完成后，添加一个新用户hadoop，设置密码并授予其sudo权限。
3、设置静态ip（基于局域网内）：

1)修改/etc/sysconfig/network-scripts/ifcfg-eth0
2)修改/etc/sysconfig/network
3)修改DNS信息
4)关闭防火墙并修改其启动策略为不开机启动

4、安装JDK
5、配置ssh免登陆
6、安装Hadoop

下次讲部署细节