1.環境への備え
- Centos7
- Hadoop
- Java
- MySQL
使用したツールのバージョンの説明:
centos版本:CentOS-7.4-x86_64-DVD-1708.iso
JDK版本:jdk-8u231-linux-x64.tar.gz
Hadoop版本:hadoop-2.7.3.tar.gz
Hive:apache-hive-2.3.7-bin.tar.gz
MySQL:5.7
centos7、jdk、hadoopのインストールについては、ここでは説明しません。不明な場合は、以前のブログでそれらを確認できます。Centos
サーバーにjdkHadoop2.7.3をインストールします。
スタンドアロンのインストールとCentos7へのデプロイ
2. hive、jdk、hadoop、mysqlをインストールする前に、hdfs、yarnを同時に起動します。
私のmysqlはcentos7にインストールされていません。私のmysqlは私のマシンに接続されています。私のマシン
のIPは172.20.10.3で、centos7のIPは172.20.10.4です。
# 启动hdfs
./sbin/start-dfs.sh
# 启动yarn
./sbin/start-yarn.sh
3.Hiveをインストールします
3.1 / usr /ディレクトリの下に新しいハイブディレクトリを作成し、ハイブインストールパッケージapache-hive-2.3.7-bin.tar.gzをハイブディレクトリにアップロードして解凍します
3.2 /usr/hive/apache-hive-2.3.7-bin/confディレクトリーに、構成ファイルhive-site.xmlを追加します。
vi hive-site.xml
その内容は次のとおりです。
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://172.20.10.3:3306/hive_metadata?&createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value> </property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
3.3 /usr/hive/apache-hive-2.3.7-bin/confディレクトリで、hive-env.sh.templateをコピーし、名前をhive-env.shに変更します。
cp hive-env.sh.template hive-env.sh
その内容は次のとおりです。
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.7-bin/conf
3.4ハイブ環境変数を追加する
vi /etc/profile
次のコンテンツを追加します。
export HIVE_HOME=/usr/hive/apache-hive-2.3.7-bin
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
3.5 mysqlドライバーjarパッケージを追加します:mysql-connector-java-5.1.44.jarをディレクトリ/usr/hive/apache-hive-2.3.7-bin/lib/に追加します。
3.6データベースを初期化する
schematool -initSchema -dbType mysql