Hive学习(一)Hive的三种搭建方式

Hive三种搭建方式

一、本地模式(derby)
二、基于Mysql的本地模式
三、基于Mysql的远程模式

1、解压apache-hive-1.2.1-bin.tar.gz

tar -zxvf apache-hive-1.2.1-bin.tar.gz

2、配置环境变量

export HIVE_HOME=/opt/apache-hive-1.2.1
export PATH=$HIVE_HOME/bin:$PATH

一、本地模式(derby)

元数据库derby与工具都是在本地，这种是最简单的存储方式，只需要配置hive-site.xml文件即可。
1、将hive-default.xml.template更名为hive-site.xml

mv hive-default.xml.template hive-site.xml

2、hive-site.xml的配置：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>   
</configuration>

切换至/hive/bin目录下启动Hive

./hive

注意：
使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。

二、基于Mysql的本地模式

这种存储方式需要在本地运行一个Mysql服务器。
1、将Mysql的jar包拷贝到$HIVE_HOME/lib目录下
2、安装Mysql
安装Mysql，并启动

yum install mysql-server -y

service mysqld start

由于首次安装，登录不需要密码

mysql -uroot

修改mysql权限：删除多余对权限造成影响的数据

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

刷新权限

flush privileges;

添加用户

CREATE USER 'hive'@'%' IDENTIFIED BY '123';

用户授权

grant all privileges on hive_meta.* to hive@"%" identified by '123';
flush privileges;

3、配置hive-site.xml文件

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.163.132/hive_meta?createDatabaseIfNotExist=true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123</value>  
</property>  
</configuration>

切换至/hive/bin目录下启动Hive

./hive

注意：

虽然hive用户对hive_meta数据库是有操作权限的，但是这个数据库如果不存在，hive用户也是没有权限创建这个数据库，所以需要提前创建好hive_meta数据库。
需要修改用户名密码，新建的Mysql是没有密码的，需要用户自己更改。

三、基于Mysql的远程模式

需要将hive-site.xml配置文件拆为两部分，分别在服务端和客户端做如下配置。

服务端配置文件

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost/hive_meta?createDatabaseIfNotExist=true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>password</value>  
</property>  
</configuration>  j

在客户端启动meta store service

hive --service metastore

客户端配置文件：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>     
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>    
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.163.128:9083</value>  
</property>  
</configuration>

客户端启动的时候可能会遇见如下错误信息：

[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
at jline.TerminalFactory.create(TerminalFactory.java:101)

错误原因：Hadoop jline和Hive的jline版本不一致导致出错，需要将Hive中的jar包导入到Hadoop相应的位置。
Hadoop中jline jar包的位置

/hadoop/share/hadoop/yarn/lib

Hive中jline jar包的位置

/hive/lib