一 、HBase简介
HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数据,表由行和列组成,列划分为若干个列族/列簇(column family)。
HBase的运行有三种模式:单机模式、伪分布式模式、分布式模式:
单机模式:在一台计算机上安装和使用HBase,不涉及数据的分布式存储;
伪分布式模式:在一台计算机上模拟一个小的集群;
分布式模式:使用多台计算机实现物理意义上的分布式存储。这里出于学习目的。
二、实验环境
操作系统:Ubuntu64位
Hadoop版本:Hadoop 2.7.1
Jdk版本:jdk-8u241-linux-x64
HBase版本:HBase1.1.2
三、安装HBase
(1) 下载HBase安装压缩包
下载网址:Hbase下载网址
(2) 解压HBase压缩包
sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local
#解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local
并将解压的文件名hbase-1.1.2改为hbase:
sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase
(3) 配置环境变量
将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。
vi ~/.bashrc
在~/.bashrc文件尾行添加如下内容:
export PATH=$PATH:/usr/local/hbase/bin
编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:
source ~/.bashrc
(4) 添加HBase权限
cd /usr/local
sudo chown -R hadoop ./hbase
#将hbase下的所有文件的所有者改为hadoop,hadoop是当前用户的用户名。
(5) 查看HBase版本,确定hbase安装成功,命令如下:
hbase -version
四、HBase配置
HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。
必须确保:Java、Hadoop、shh配置完成。
(1) 单机模式配置
① 配置/usr/local/hbase/conf/hbase-env.sh
用vi命令打开并编辑hbase-env.sh:
vi /usr/local/hbase/conf/hbase-env.sh
② 配置/usr/local/hbase/conf/hbase-site.xml
打开并编辑hbase-site.xml:
vi /usr/local/hbase/conf/hbase-site.xml
在启动HBase前需要设置属性hbase.rootdir,用于指定HBase数据的存储位置,因为如果不设置的话,hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(/usr/local/hbase/hbase-tmp),添加配置如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///usr/local/hbase/hbase-tmp</value>
</property>
</configuration>
③ 测试运行
启动HBase:
start-hbase.sh
打开shell命令行模式:
hbase shell
退出shell命令行模式:
Exit
停止HBase运行:
stop-hbase.sh
(2) 伪分布式模式配置
① 配置/usr/local/hbase/conf/hbase-env.sh
vi /usr/local/hbase/conf/hbase-env.sh
配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录(即/usr/local/hadoop/conf)
② 配置/usr/local/hbase/conf/hbase-site.xml
vi /usr/local/hbase/conf/hbase-site.xml
hbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式.
③ 测试运行HBase
首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码:
ssh localhost
启动hadoop:
start-dfs.sh
输入命令jps:
启动HBase:
start-hbase.sh
打开shell命令行模式:
hbase shell
退出shell命令行模式:
exit
停止HBase运行:
stop-hbase.sh
五、编程实践(利用shell命令)
注意:
需要先开启Hadoop,再开启HBASE,再打开shell命令格式
才能使用HBASE中的shell命令
关闭时需要先退出shell命令格式,再关闭HBASE,再关闭Hadoop
(1) HBase中创建表
create 'student','Sname','Ssex','Sage','Sdept','course'
即创建了一个“student”表;
属性有:Sname,Ssex,Sage,Sdept,course。
因为HBase的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put命令操作中表名后第一个数据。
创建完“student”表后,可通过describe命令查看“student”表的基本信息。命令执行截图如下:
(2) HBase数据库的基本操作
即HBase的增、删、改、查操作。
注意:
在添加数据时,HBase会自动为添加的数据添加一个时间戳,故在需要修改数据时,只需直接添加数据,HBase即会生成一个新的版本,从而完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的几个版本,保存的版本数可以在创建表的时候指定。
① 添加数据
HBase中用put命令添加数据;
注意:
一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,所以直接用shell命令插入数据效率很低,在实际应用中,一般都是利用编程操作数据。
put 'student','95001','Sname','LiYing'
即为student表添加了学号为95001,名字为LiYing的一行数据,其行键为95001。
put 'student','95001','course:math','80'
② 删除数据
在HBase中用delete以及deleteall命令进行删除数据操作;
它们的区别是:
- delete用于删除一个数据,是put的反向操作;
- deleteall操作用于删除一行数据。
delete 'student','95001','Ssex'
删除了student表中95001行下的Ssex列的所有数据。
读取student表中的数据:
get ‘student’
deleteall 'student','95001'
③ 查看数据
HBase中有两个用于查看数据的命令:
- get命令,用于查看表的某一行数据;
- scan命令用于查看某个表的全部数据
get 'student','95001'
scan 'student'
④ 删除表
删除表有两步,第一步先让该表不可用,第二步删除表。
disable 'student'
drop 'student'
(3) 查询表的历史数据
查询表的历史版本,需要两步。
① 在创建表的时候,指定保存的版本数(假设指定为5)
create 'teacher',{
NAME=>'username',VERSIONS=>5}
② 插入数据然后更新数据,使其产生历史版本数据,注意:这里插入数据和更新数据都是用put命令
put 'teacher','91001','username','Mary'
put 'teacher','91001','username','Mary1'
put 'teacher','91001','username','Mary2'
put 'teacher','91001','username','Mary3'
put 'teacher','91001','username','Mary4'
put 'teacher','91001','username','Mary5'
③ 查询时,指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)
get 'teacher','91001',{
COLUMN=>'username',VERSIONS=>5}
若不指定查询的历史版本数:
退出HBase数据库表操作:
exit
注意:
这里退出HBase数据库是退出对数据库表的操作,而不是停止启动HBase数据库后台运行。
本文章主要是本人在初学Hadoop时期根据林子雨老师实验教程学习,由自己总结并实践编写而成。