交流QQ: 824203453

Hive安装环境准备

安装hive的版本为1.2.1

Hive安装地址

1）Hive官网地址：

http://hive.apache.org/

2）文档查看地址：

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3）下载地址：

http://archive.apache.org/dist/hive/

4）github地址：

https://github.com/apache/hive

Hive安装部署

Hive安装及配置

（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/root/apps目录下
（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面
    [root@hdp-01 ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /root/apps
（3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive
    [root@hdp-01 apps]# mv apache-hive-1.2.1-bin/ hive
（4）修改/root/apps/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
    [root@hdp-01 apps]# mv hive-env.sh.template hive-env.sh
（5）配置hive-env.sh文件（非必选项）
    配置HADOOP_HOME路径
        export HADOOP_HOME=/root/apps/hadoop-2.8.0
    配置HIVE_CONF_DIR路径
        export HIVE_CONF_DIR=/root/apps/hive/conf
（6）在/etc/profile中配置HIVE_HOME环境变量
    export HIVE_HOME=/root/apps/hive
    export PATH=$PATH:$HIVE_HOME/bin

2）Hadoop集群配置

必须启动hdfs和yarn

[root@hdp-01 hadoop-2.8.0]# sbin/start-dfs.sh
[root@hdp-01 hadoop-2.8.0]# sbin/start-yarn.sh

Hive基本操作

启动hive
# bin/hive

查看数据库
    hive>show databases;

（3）打开默认数据库
    hive>use default;

（4）显示default数据库中的表
    hive>show tables;

（5）创建一张表
    hive> create table student(id int, name string) ;

（6）显示数据库中有几张表
    hive>show tables;

（7）查看表的结构
    hive>desc student;

（8）向表中插入数据
    hive> insert into student values(1000,"ss");

（9）查询表中数据
    hive> select * from student;

（10）退出hive
    hive> quit;

注意：Hive默认使用自带的derby数据库存储Metastore。真正的表中的数据存储在执行hive命令的当前目录的metastore_db中。

需要使用Mysql来存储元数据。

MySql安装

安装包准备

查看mysql是否安装，如果安装了，卸载mysql

查看

[root@hdp-01 ~]# rpm -qa|grep mysql
mysql-libs-5.1.73-7.el6.x86_64

卸载

[root@hdp-01 ~]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

2）解压mysql-libs.zip文件到当前目录

[root@hdp-01 ~]# unzip mysql-libs.zip
[root@hdp-01 ~]# ls
mysql-libs.zip
mysql-libs

3）进入到mysql-libs文件夹下，并设置当前用户执行权限

[root@hdp-01 mysql-libs]# ll

总用量 76048

-rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

[root@hdp-01 mysql-libs]# chmod u+x ./*
[root@hdp-01 mysql-libs]# ll

总用量 76048

-rwxr--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rwxr--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz

-rwxr--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

安装MySql服务器

安装mysql服务端
[root@hdp-01 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

查看产生的随机密码
[root@hdp-01 mysql-libs]# cat /root/.mysql_secret

OEXaQuS8IWkG19Xs

3）查看mysql状态
[root@hdp-01 mysql-libs]# service mysql status

4）启动mysql
[root@hdp-01 mysql-libs]# service mysql start

安装MySql客户端

安装mysql客户端
[root@hdp-01 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

链接mysql
[root@hdp-01 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

3）修改密码
mysql>SET PASSWORD=PASSWORD('000000');

4）退出mysql
mysql>exit

如果安装报错

依赖报错：缺perl，利用yum 命令来安装相应的包即可。

# yum install perl

依赖报错：缺libaio

# yum -y install libaio

此处可以配置一个本地的yum源，方便安装软件。

yum源传送门：

Hive元数据配置到MySql

驱动拷贝

在/root/apps/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包

[root@hdp-01 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

拷贝/root/apps/mysql-libs/mysql-connector-java-5.1.27目录下的

mysql-connector-java-5.1.27-bin.jar到/root/apps/hive/lib/

[root@hdp-01 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /root/apps/hive/lib/

配置Metastore到MySql

在/root/apps/hive/conf目录下创建一个hive-site.xml

[root@hdp-01 conf]# touch hive-site.xml
[root@hdp-01 conf]# vi hive-site.xml

2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hdp-01:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>000000</value>
<description>password to use against metastore database</description>
</property>
</configuration>

配置完毕

验证

再次启动hive

会在msyql中创建对应的元数据库。

默认的数据的存储位置：