1. Preparación ambiental
- Centos7
- Hadoop
- Java
- MySQL
Descripción de la versión de las herramientas utilizadas:
centos版本:CentOS-7.4-x86_64-DVD-1708.iso
JDK版本:jdk-8u231-linux-x64.tar.gz
Hadoop版本:hadoop-2.7.3.tar.gz
Hive:apache-hive-2.3.7-bin.tar.gz
MySQL:5.7
La instalación de centos7, jdk y hadoop no se discutirá aquí. Si no está seguro, puede consultar mis blogs anteriores.
Instale jdk Hadoop2.7.3 en la instalación e implementación independientes del servidor Centos
en centos7
2. Antes de instalar hive, se han instalado jdk, hadoop, mysql e inicie hdfs, yarn al mismo tiempo
Mi mysql no está instalado en centos7. Mi mysql está conectado a mi máquina.
La ip de mi máquina es 172.20.10.3 y la ip de centos7 es 172.20.10.4.
# 启动hdfs
./sbin/start-dfs.sh
# 启动yarn
./sbin/start-yarn.sh
3. Instalar Hive
3.1 Cree un nuevo directorio de colmena en el directorio / usr /, cargue el paquete de instalación de colmena apache-hive-2.3.7-bin.tar.gz en el directorio de colmena y descomprímalo
3.2 En el directorio /usr/hive/apache-hive-2.3.7-bin/conf, agregue el archivo de configuración hive-site.xml
vi hive-site.xml
Su contenido es el siguiente:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://172.20.10.3:3306/hive_metadata?&createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value> </property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
3.3 En el directorio /usr/hive/apache-hive-2.3.7-bin/conf, copie hive-env.sh.template y cámbiele el nombre a hive-env.sh
cp hive-env.sh.template hive-env.sh
Su contenido es el siguiente:
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.7-bin/conf
3.4 Agregar variables de entorno de colmena
vi /etc/profile
Agrega el siguiente contenido:
export HIVE_HOME=/usr/hive/apache-hive-2.3.7-bin
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
3.5 Agregue el paquete jar del controlador mysql: mysql-connector-java-5.1.44.jar al directorio /usr/hive/apache-hive-2.3.7-bin/lib/,
3.6 Inicializar la base de datos
schematool -initSchema -dbType mysql