1简介
Apache HBase™是Hadoop数据库,是一个分布式,可扩展的大数据存储。
当您需要对大数据进行随机,实时读/写访问时,请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBase是一个开源的,分布式的,版本化的非关系数据库,模仿Google的Bigtable: Chang等人的结构化数据分布式存储系统。正如Bigtable利用Google文件系统提供的分布式数据存储一样,Apache HBase在Hadoop和HDFS之上提供类似Bigtable的功能。
下载
点击这里下载Apache HBase™。
特征
- 线性和模块化可扩展性。
- 严格一致的读写操作。
- 表的自动和可配置分片
- RegionServers之间的自动故障转移支持。
- 方便的基类,用于使用Apache HBase表支持Hadoop MapReduce作业。
- 易于使用的Java API,用于客户端访问。
- 阻止缓存和布隆过滤器以进行实时查询。
- 查询谓词通过服务器端过滤器下推
- Thrift网关和REST-ful Web服务,支持XML,Protobuf和二进制数据编码选项
- 可扩展的基于jruby(JIRB)的外壳
- 支持通过Hadoop指标子系统将指标导出到文件或Ganglia; 或通过JMX
2.安装
- 将tar包解压
- 修改hbase-env.sh,在里面修改java,zookeeper的路径
- 在habse-site.sh中加入如下配置信息
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop04:9000/hbase</value>
</property>
<!-- 是否开启集群 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98 后的新变动,之前版本没有.port,默认端口为 60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<!-- zookeeper集群的位置 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop04:2181,hadoop05:2181,hadoop06:2181</value>
</property>
<!-- hbase的元数据信息存储在zookeeper的位置 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/root/hd/zookeeper-3.4.10/zkData</value>
</property>
- 进入conf,将hadoop的core-site.xml和hdfs-site.xml以及zookeeper的zookeeper-site.xml,这三个xml放到conf中。
- 将相关的hadoop和zookeeper的依赖导入lib下。
- 这是hadoop的依赖包:
-rw-r--r--. 1 root root 45929 5月 8 2018 hadoop-annotations-2.8.4.jar
-rw-r--r--. 1 root root 123295 5月 8 2018 hadoop-auth-2.8.4.jar
-rw-r--r--. 1 root root 3758048 5月 8 2018 hadoop-common-2.8.4.jar
-rw-r--r--. 1 root root 4845260 5月 8 2018 hadoop-hdfs-2.8.4.jar
-rw-r--r--. 1 root root 4080662 5月 8 2018 hadoop-hdfs-client-2.8.4.jar
-rw-r--r--. 1 root root 565321 5月 8 2018 hadoop-mapreduce-client-app-2.8.4.jar
-rw-r--r--. 1 root root 782757 5月 8 2018 hadoop-mapreduce-client-common-2.8.4.jar
-rw-r--r--. 1 root root 1572117 5月 8 2018 hadoop-mapreduce-client-core-2.8.4.jar
-rw-r--r--. 1 root root 193656 5月 8 2018 hadoop-mapreduce-client-hs-2.8.4.jar
-rw-r--r--. 1 root root 31535 5月 8 2018 hadoop-mapreduce-client-hs-plugins-2.8.4.jar
-rw-r--r--. 1 root root 67001 5月 8 2018 hadoop-mapreduce-client-jobclient-2.8.4.jar
-rw-r--r--. 1 root root 1589013 5月 8 2018 hadoop-mapreduce-client-jobclient-2.8.4-tests.jar
-rw-r--r--. 1 root root 76018 5月 8 2018 hadoop-mapreduce-client-shuffle-2.8.4.jar
-rw-r--r--. 1 root root 2439648 5月 8 2018 hadoop-yarn-api-2.8.4.jar
-rw-r--r--. 1 root root 75345 5月 8 2018 hadoop-yarn-applications-distributedshell-2.8.4.jar
-rw-r--r--. 1 root root 41417 5月 8 2018 hadoop-yarn-applications-unmanaged-am-launcher-2.8.4.jar
-rw-r--r--. 1 root root 230184 5月 8 2018 hadoop-yarn-client-2.8.4.jar
-rw-r--r--. 1 root root 1805927 5月 8 2018 hadoop-yarn-common-2.8.4.jar
-rw-r--r--. 1 root root 475369 5月 8 2018 hadoop-yarn-server-applicationhistoryservice-2.8.4.jar
-rw-r--r--. 1 root root 489786 5月 8 2018 hadoop-yarn-server-common-2.8.4.jar
-rw-r--r--. 1 root root 895771 5月 8 2018 hadoop-yarn-server-nodemanager-2.8.4.jar
-rw-r--r--. 1 root root 1611848 5月 8 2018 hadoop-yarn-server-resourcemanager-2.8.4.jar
-rw-r--r--. 1 root root 64291 5月 8 2018 hadoop-yarn-server-web-proxy-2.8.4.jar
这是zookeeper的依赖包:
-rw-r--r--. 1 root root 1456729 3月 23 2017 zookeeper-3.4.10.jar
3.启动hadoop和zookeeper集群
注意:第一步启动hadoop集群:start-dsf.sh
第二步启动zookeeper集群zkServer.sh start
4.启动hbase的集群和终端
- bin/hbase-daemon.sh start master
- bin/hbase-daemon.sh start regionserver
- bin/hbase shell