HBase应用开发
HBase的定义
HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。
- 适合于存储大表数据，可以达到实时级别。
- 利用Hadoop HDFS 作为其文件存储系统，提供实时的读写的数据库系统。
- 利用ZooKeeper作为协同服务。
HBase架构
HBase的适用场景
- 海量数据
- 高吞吐量
- 需要在海量数据中实现高效的随机读取
- 需要很好的性能伸缩能力
- 能够同时处理结构化和非结构化的数据
- 不需要完全拥有传统关系型数据库所具备的ACID特性
HBase应用开发流程
- 制定业务目标
- 准备开发环境
- 下载并导入样例工程
-
设计HBase表
设计原则：
查询数据唯一
数据均匀分布
查询性能优化
其他因素（region的提前划分，冷热Family的使用)
- 根据场景开发工程
- 编译并运行程序
- 查看结果与调试程序
HBase表设计-总体原则
设计目标：提高吞吐量
设计原则：预分region，是region分布均匀，提高并发
实现方法：Rowkey范围和分布已知，建议预分region
设计目标：提高写入性能
设计原则：避免过多的热点region
设计方法：根据应用场景，可以考虑将时间因素引入Rowkey
设计目标：提高查询性能
设计原则：数据连续存储，频繁访问的数据存储一个地方，数据连续存储，离散度，信息冗余。
实现方法：同时读取的数据存放在同一行、cell，使用二级索引
HBase表设计-设计内容
设计内容通过不同维度，可分为：
Table设计（表粒度的设计）
- 建表方法
- 预分region
- Family属性
- 系统并发能力、数据清洗能力
RowKey设计
- 原则：需要同时访问的数据，RowKey尽量连续
- 访问效率：分散写，连续读
- 属性内容：常用的查询场景属性
- 属性值顺序：枚举，访问权重
- 时间属性：循环Key+TTL，周期建表
- 二级索引
- 折中法
- 冗余法
Family设计
可枚举数量少扩展性弱的属性作为Family
Qualifier设计
不可枚举、数量多且扩展性强的属性作为Qualifier
原则：同时访问的数据存放到同一个Cell，列名尽量简短
HBase常用接口
create（）
put（）
get（）
getScanner（Scan scan）
、、、
创建Configuration实例以及Kerberos安全认证
HBaseConfiguration方法
创建表
create Table方法
写入数据
put方法
读取一行数据
get方法
读取多行数据
scan方法