hive2.3的搭建
前提: 集群中已经安装好了hadoop,并且已经启动了hdfs
准备工作:
- hive安装包 hive历代版本下载地址
我这里因为spark的版本需要,我安装了hive2.3
Hive Version | Spark Version |
---|---|
master | 2.3.0 |
3.0.x | 2.3.0 |
2.3.x | 2.0.0 |
2.2.x | 1.6.0 |
2.1.x | 1.6.0 |
2.0.x | 1.5.0 |
1.2.x | 1.3.1 |
1.1.x | 1.2.0 |
安装步骤:
1.上传安装包到服务器上,然后解压
2. 进入hive
的conf
目录,编辑hive-site.xml
vim hdfs-site.xml
内容如下
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive. -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead. -->
<!-- Hive Execution Parameters -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://spark3:3306/hive?createDatabaseIfNotExist=true&characterEncoding=utf-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
</property>
</configuration>
上面的数据库的连接名ConnectionUserName
的value
要修改成自己的数据库的连接用户名
上面的数据库的连接密码ConnectionPassword
的value
要修改成自己的数据库的连接密码
3.然后编辑hive-env.sh
vim hive-env.sh
向下面添加如下几行内容,这里对应自己的环境里面的安装路径
export HADOOP_HOME=/export/software/hadoop
export HADOOP_CONF_DIR=/export/software/hadoop/etc/hadoop
export HIVE_CONF_DIR=/export/software/hive/conf
export HIVE_AUX_JARS=/export/software/hive/lib
4.编辑/etc/profile
vim /etc/profile
添加如下的内容
export HIVE_HOME=/export/software/hive
export PATH=$PATH:$HIVE_HOME/bin
接着使用命令source /etc/profile
5.将mysql
的连接的jar
包添加入hive
的lib
文件夹中,mysql jar点击下载
6.进入hive
的bin
目录,在里面执行schematool -dbType mysql -initSchema
看到上述的字样,就是说明成功了。
以上就已经安装完毕了。
启动hive
启动hive
之前要再次检查一下hadoop
的进程是否已经启动了,命令:hive
启动成功之后就会出现如下的样子
使用命令show databases;
show databases;
结果如下:
上述的整个的安装过程就已经介绍完毕了。
可能会出现如下的错误:
Error: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000)
这个问题出现了,检查一下hive-site.xml
是否存在你的hive
的conf
目录里面,可能是因为hive-site.xml
里面的配置没有写正确,检查里面的<name>
的内容和<value>
内容。