Hadoop生态圈（五）Hive的安装部署过程（大赛整理）

今天来分享一下，18年12月份参加大赛整理的Hive安装部署过程，希望对大家能有帮助，如有写的不对的地方，还请大家留言交流。

Hive的安装方式介绍： Hive是一个客户端工具，它的安装不分伪分布式还是分布式，通常只需要在主节点上安装Hive即可。
Hive根据元数据存储和访问方式不同，分为以下三种安装方式： (1) 内嵌模式：元数据保存在内嵌的derby中，只允许一个会话连接。
(2) 本地模式：本地安装mysql，替代derby存储元数据。 (3) 远程模式：远程安装mysql，替代derby存储元数据。

安装Hive的前提条件：Hive依赖与Hadoop，安装Hive之前应先提前安装好Hadoop。

Hive安装前准备首先安装mysql并进行配置正确安装mysql，为root用户设置密码。
(1) 删除linux上已经安装的mysql相关库信息。 rpm -e xxxxxxx --nodeps
执行命令rpm -qa |grep mysql 检查是否删除干净
(2) 使用yum源安装mysql 安装服务器端：
yum install –y mysql-server yum install –y mysql-client
（3）mysql配置
在命令行状态下执行命令连接mysql： mysql 授予远程访问权限：

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

重载授权表：

 mysql>FLUSH PRIVILEGES; 创建 hive 数据库 mysql>create database hive;

退出mysql数据库： mysql>exit

进入 Mysql ： mysql -uroot -p
设置密码：set password=password('123456');

在apache官网下载Hive安装包，进行解压安装：
安装包已经存放到/share/bigdata/hadoop目录下，拷贝到/usr/local目录下：
cp /share/bigdata/hadoop/hive-1.2.1-bin.tar.gz /usr/local

在/usr/local目录下解压Hive安装包，并配置环境变量 cd /usr/local tar zxvf hive-1.2.1-bin.tat.gz mv hive-1.2.1-bin hive //换为短名修改环境变量 vim
/etc/profile

加入hive相关的环境变量
```
PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH ```

使设置环境变量生效 source  /etc/profile
```
2、修改Hive的配置文件 到hive 配置文件目录中 cd /usr/local/hive/conf

把初始化的文件复制一份出来并且改名: cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp
hive-log4j2.properties.template hive-log4j2.properties cp
hive-exec-log4j2.properties.template hive-exec-log4j2.properties
3、修改hive-env.sh 添加以下四个环境变量的配置：
export JAVA_HOME=/usr/local/jdk ##Java路径
export HADOOP_HOME=/usr/local/hadoop ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive ##Hive安装路径
export HIVE_CONF_DIR=${HIVE_HOME}/conf ##Hive配置文件路径
在hdfs 中创建下面的三个目录，并且授权
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log
修改hive-site.xml
(1) 将 hive-site.xml 文件中以下几个配置项的值设置成上一步中创建的几个路径。

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>

(2) 需要在 hive-site.xml 文件中配置 MySQL 数据库连接信息。

<property>
    <name>javax.jdo.option.ConnectionURL</name>
localhost 代表mysql的位置
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp ; useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

(3)在配置文件 hive-site.xml 里面

把${system:java.io.tmpdir} 改成 /usr/local/hive/tmp/
把${system:user.name} 改成 ${user.name}

需要hive元数据库初始化，执行

schematool -dbType mysql -initSchema

5、在hive安装目录下创建tmp文件
mkdir /usr/local/hive/tmp
6、配置jdbc驱动包
下载mysql的jdbc 驱动包：
下载完成后把mysql-connector-java-5.1.25-bin.jar 然后放入 /usr/local/hive/lib 目录下
Hive的启动和检验
在后台启动hive服务
hive --service hiveserver2& （&表示远程）
访问hive：
检测hive 是否成功直接在安装机器的命令行输入hive命令即可
课程总结
Hive的安装方式；
Hive的本地方式安装的过程。

Hadoop生态圈（五）Hive的安装部署过程（大赛整理）

今天来分享一下，18年12月份参加大赛整理的Hive安装部署过程，希望对大家能有帮助，如有写的不对的地方，还请大家留言交流。

猜你喜欢