(转)使用Hive读取Hbase中的数据

企业开发 2018-05-12 01:45:56 阅读次数: 2

第一步，启动hadoop，命令：./start-all.sh

第二步，启动hive，命令：

./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive-0.6.0/lib/zookeeper-3.2.2.jar -hiveconf hbase.master=127.0.0.1:60000

这里，-hiveconf hbase.master=指向自己在hbase-site.xml中hbase.master的值

第三步，启动hbase，命令：./start-hbase.sh

第四步，建立关联表，这里我们要查询的表在hbase中已经存在所以，使用CREATE EXTERNAL TABLE来建立，如下：

Java代码 复制代码  收藏代码
  1. CREATE EXTERNAL TABLE hbase_table_2(key string, value string)    
  2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'    
  3. WITH SERDEPROPERTIES ("hbase.columns.mapping" = "data:1")    
  4. TBLPROPERTIES("hbase.table.name" = "test");     
CREATE EXTERNAL TABLE hbase_table_2(key string, value string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "data:1") 
TBLPROPERTIES("hbase.table.name" = "test");

 hbase.columns.mapping指向对应的列族；多列时，data:1，data:2；多列族时，data1:1,data2:1；

 hbase.table.name指向对应的表；

 hbase_table_2(key string, value string)，这个是关联表

我们看一下HBase中要查询的表的结构，

Java代码 复制代码  收藏代码
  1. hbase(main):001:0> describe 'test'  
  2. DESCRIPTION                                                             ENABLED                                  
  3.  {NAME => 'test', FAMILIES => [{NAME => 'data', COMPRESSION => 'NONE',  true                                     
  4.  VERSIONS => '3', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY                                           
  5.  => 'false', BLOCKCACHE => 'true'}]}                                                                             
  6. 1 row(s) in 0.0810 seconds   
  7. hbase(main):002:0>   
hbase(main):001:0> describe 'test'
DESCRIPTION                                                             ENABLED                               
 {NAME => 'test', FAMILIES => [{NAME => 'data', COMPRESSION => 'NONE',  true                                  
 VERSIONS => '3', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY                                        
 => 'false', BLOCKCACHE => 'true'}]}                                                                          
1 row(s) in 0.0810 seconds
hbase(main):002:0>

 在看一下表中的数据，

Java代码 复制代码  收藏代码
  1. hbase(main):002:0> scan 'test'  
  2. ROW                          COLUMN+CELL                                                                         
  3.  row1                        column=data:1, timestamp=1300847098583, value=value1                                
  4.  row12                       column=data:1, timestamp=1300849056637, value=value3                                
  5.  row2                        column=data:2, timestamp=1300847106880, value=value2                                
  6. 3 row(s) in 0.0160 seconds   
  7. hbase(main):003:0>    
hbase(main):002:0> scan 'test'
ROW                          COLUMN+CELL                                                                      
 row1                        column=data:1, timestamp=1300847098583, value=value1                             
 row12                       column=data:1, timestamp=1300849056637, value=value3                             
 row2                        column=data:2, timestamp=1300847106880, value=value2                             
3 row(s) in 0.0160 seconds
hbase(main):003:0>

 列族：data:1、data:2两个

 Key：row1、row12、row2

 value：value1、value3、value2

 hbase_table_2(key string, value string)中对应的test表中的row，value字段对应的是test表中的value

OK，现在可以来看看查询结果了，

我们在hive命令行中先查看一下hbase_table_2，

Java代码 复制代码  收藏代码
  1. hive> select * from hbase_table_2;   
  2. OK   
  3. row1    value1   
  4. row12   value3   
  5. Time taken: 0.197 seconds   
  6. hive>  
hive> select * from hbase_table_2;
OK
row1	value1
row12	value3
Time taken: 0.197 seconds
hive>

 对比一下test表中的列族为data:1的数据，

Java代码 复制代码  收藏代码
  1. row1                        column=data:1, timestamp=1300847098583, value=value1                                
  2. row12                       column=data:1, timestamp=1300849056637, value=value3     
 row1                        column=data:1, timestamp=1300847098583, value=value1                             
 row12                       column=data:1, timestamp=1300849056637, value=value3

和查询结果相符，没问题，然后我们在hbase中在给列族data:1新增一条数据，

Java代码 复制代码  收藏代码
  1. hbase(main):003:0> put 'test','row13','data:1','value4'  
  2. 0 row(s) in 0.0050 seconds   
  3. hbase(main):004:0>   
hbase(main):003:0> put 'test','row13','data:1','value4'
0 row(s) in 0.0050 seconds
hbase(main):004:0>

 再查看hbase_table_2表，

Java代码 复制代码  收藏代码
  1. hive> select * from hbase_table_2;   
  2. OK   
  3. row1    value1   
  4. row12   value3   
  5. row13   value4   
  6. Time taken: 0.165 seconds   
  7. hive>   
hive> select * from hbase_table_2;
OK
row1	value1
row12	value3
row13	value4
Time taken: 0.165 seconds
hive>

 新增数据value4出现了，说明可以通过hbase_table_2查询hbase的test表

下面我们来查询一下test表中value值为value3的数据，

Java代码 复制代码  收藏代码
  1. hive> select * From hbase_table_2 where value='value3';   
  2. Total MapReduce jobs = 1  
  3. Launching Job 1 out of 1  
  4. Number of reduce tasks is set to 0 since there's no reduce operator   
  5. Starting Job = job_201103231022_0001, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201103231022_0001   
  6. Kill Command = /home/dream-victor/hadoop-0.20.2/bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201103231022_0001   
  7. 2011-03-23 11:23:27,807 Stage-1 map = 0%,  reduce = 0%   
  8. 2011-03-23 11:23:30,824 Stage-1 map = 100%,  reduce = 0%   
  9. 2011-03-23 11:23:33,854 Stage-1 map = 100%,  reduce = 100%   
  10. Ended Job = job_201103231022_0001   
  11. OK   
  12. row12   value3   
  13. Time taken: 11.929 seconds   
  14. hive>  
hive> select * From hbase_table_2 where value='value3';
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201103231022_0001, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201103231022_0001
Kill Command = /home/dream-victor/hadoop-0.20.2/bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201103231022_0001
2011-03-23 11:23:27,807 Stage-1 map = 0%,  reduce = 0%
2011-03-23 11:23:30,824 Stage-1 map = 100%,  reduce = 0%
2011-03-23 11:23:33,854 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201103231022_0001
OK
row12	value3
Time taken: 11.929 seconds
hive>

 和hbase的test表对比一下，

Java代码 复制代码  收藏代码
  1. row12                       column=data:1, timestamp=1300849056637, value=value3  
row12                       column=data:1, timestamp=1300849056637, value=value3

 OK，这样我们就可以使用SQL来对hbase进行查询了。

以上只是在命令行里左对应的查询，我们的目的是使用JAVA代码来查询出有用的数据，其实这个也很简单，

首先，启动Hive的命令有点变化，使用如下命令：

Java代码 复制代码  收藏代码
  1. ./hive --service hiveserver  
./hive --service hiveserver

 这里我们默认使用嵌入的Derby数据库，这里可以在hive-site.xml文件中查看到：

Java代码 复制代码  收藏代码
  1. <property>   
  2.   <name>javax.jdo.option.ConnectionURL</name>   
  3.   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>//指定了数据库默认的名字和地址   
  4. </property>   
  5.   
  6. <property>   
  7.   <name>javax.jdo.option.ConnectionDriverName</name>   
  8.   <value>org.apache.derby.jdbc.EmbeddedDriver</value>   
  9. </property>  
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>//指定了数据库默认的名字和地址
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>

 在此，数据库链接的URL可以使用默认的：jdbc:hive://localhost:10000/default

 有了上面的准备，下面我们就可以使用JAVA代码来读取数据了，如下：

Java代码 复制代码  收藏代码
  1. public class HiveTest extends TestCase {   
  2.   
  3.     private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";   
  4.     private Connection con;   
  5.     private boolean standAloneServer = true;   
  6.   
  7.     public void testSelect() throws SQLException {   
  8.         Statement stmt = con.createStatement();   
  9.         ResultSet res = stmt.executeQuery("select * from hbase_table_2");   
  10.         boolean moreRow = res.next();   
  11.         while (moreRow) {   
  12.             System.out.println(res.getString(1)+","+res.getString(2));   
  13.             moreRow = res.next();   
  14.         }   
  15.     }   
  16.   
  17.     @Override  
  18.     protected void setUp() throws Exception {   
  19.         super.setUp();   
  20.         Class.forName(driverName);   
  21.         con = DriverManager.getConnection(   
  22.                 "jdbc:hive://localhost:10000/default", "", "");   
  23.     }   
  24. }  
public class HiveTest extends TestCase {

	private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
	private Connection con;
	private boolean standAloneServer = true;

	public void testSelect() throws SQLException {
		Statement stmt = con.createStatement();
		ResultSet res = stmt.executeQuery("select * from hbase_table_2");
		boolean moreRow = res.next();
		while (moreRow) {
			System.out.println(res.getString(1)+","+res.getString(2));
			moreRow = res.next();
		}
	}

	@Override
	protected void setUp() throws Exception {
		super.setUp();
		Class.forName(driverName);
		con = DriverManager.getConnection(
				"jdbc:hive://localhost:10000/default", "", "");
	}
}

 结果，

Java代码 复制代码  收藏代码
  1. row1,value1   
  2. row12,value3   
  3. row13,value4   
  4. row14,test  
row1,value1
row12,value3
row13,value4
row14,test

 查看一下hbase中的结果，

Java代码 复制代码  收藏代码
  1. ROW                          COLUMN+CELL                                                                         
  2.  row1                        column=data:1, timestamp=1300847098583, value=value1                                
  3.  row12                       column=data:1, timestamp=1300849056637, value=value3                                
  4.  row13                       column=data:1, timestamp=1300850443699, value=value4                                
  5.  row14                       column=data:1, timestamp=1300867550502, value=test   
ROW                          COLUMN+CELL                                                                      
 row1                        column=data:1, timestamp=1300847098583, value=value1                             
 row12                       column=data:1, timestamp=1300849056637, value=value3                             
 row13                       column=data:1, timestamp=1300850443699, value=value4                             
 row14                       column=data:1, timestamp=1300867550502, value=test

 OK，完美了，不过还是希望这样的需求少一点，毕竟Hbase产生的初衷不是为了支持结构化查询。

猜你喜欢

转载自88548886.iteye.com/blog/2058986
今日推荐
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
周排行
Java基础复习_day13_Collection集合
2018.11.16 c语言学习经验
且看Java内置四大核心函数式接口
小程序云开发中数据库的数据分段和显示图片
python的函数
Web-JS进阶
【干货】C++常用代码积累笔记大全
Spring的ioc操作 与 IOC底层原理
构建之法20191121-11 Scrum立会报告+燃尽图 07
Spring boot之Hello World访问404
每日归档
更多
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022