一、Hive初识入门

1. Hive的背景及概念

之前的程序员大多都使用sql，让他们写MapReduce需要培训，成本高。

ETL（ Extract-Transform-Load）

2. Hive的架构、优点及使用场景讲解

3. Hive安装部署及简单测试（使用derby存储元数据）

① 修改配置文件：

hive-env.sh（重命名hive-env.sh.template）

设置hadoop目录和hive的配置目录：

② 创建文件夹且添加权限

一个公司，有多个部门，不同部门是不同的组，用的是不同的hive仓库，相当于每个部门装一个hive。但是，hive默认的数据仓库目录是一样的，所以需要手动改变。

在hive-site.xml配置即可。

③ 使用schematool 初始化metastore的schema：

[[email protected]]# bin/schematool -dbType derby –initSchema

④ 启动并测试：

select count(*)转换成了mapreduce：

创建表并加载数据：

(注意：overwrite覆盖表中的原有数据)

4. Hive安装部署（使用mysql存储元数据）

注意：hive和mysql要安装到同一台机器上；接着上面的配置继续配置。

① 为什么不用derby（内存数据库）改用mysql？

内存数据库derby只能供一个人使用，在另外一个节点上同时开启就会报如下错误：

而现在我们整个集群都要使用hive元数据，所以改用mysql。

② 安装配置mysql（通过rpm方式）：

下载地址：

http://mirrors.sohu.com/mysql/

查看所有用户：

修改mysql数据库的登陆权限：

GRANT ALL PRIVILEGES ON *.* TO'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

刷新权限：

FLUSH PRIVILEGES;

③ 把mysql的驱动包放到hive的lib目录下

④ 修改配置文件：

hive-site.xml（复制hive-default.xml.template）

因为default配置项太多，也可手动创建一个hive-site.xml

配置mysql四要素：

数据库地址、驱动名称、用户名、密码

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>

⑤ 使用schematool 初始化metastore的schema：

[[email protected]]# bin/schematool -dbType mysql -initSchema

(如果出现已存在的异常，把hive目录下的metastore_db重命名metastore_db.temp)

⑥ 启动hive

第一次启动慢，因为要初始化元数据

查看mysql会发现多了hive数据库（存储元数据）

(“hive”是hive-site.xml中配置的名字)

5. Hive的常用操作

查看表详细信息：

desc 表名

desc extended 表名

desc formatted 表名

查看所有函数：

hive> show functions;

查看函数如何使用：

如何在查看表的时候显示字段名称和数据库名称：

在hive-site.xml中添加如下配置：

<property>
   <name>hive.cli.print.header</name>
   <value>true</value>
</property>
<property>
   <name>hive.cli.print.current.db</name>
   <value>true</value>
</property>

重启hive