Hadoop配置Hive（MySQL）

その他 2021-03-02 04:32:11 訪問数: null

ハイブのインストールアドレス

1）Hiveの公式Webサイトアドレス
http://hive.apache.org/
2）ドキュメント表示アドレス
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
3）ダウンロードアドレス
http：//archive.apache。 org / dist / hive /
4）githubアドレス
https://github.com/apache/hive

MySQLをインストールします

1.最初にMySQLがインストールされているかどうかを確認します

rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载
sudo rpm -e --nodeps  mariadb-libs-5.5.56-2.el7.x86_64   //用此命令卸载mariadb

2.MySQLインストールパッケージを/ opt / softwareディレクトリにコピーします

3.インストールパッケージを解凍します

tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

ここに画像の説明を挿入

4.インストール（解凍したディレクトリにインストールします）

インストールの順序に注意してください、間違いはありません

sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

Linuxが最小限でインストールされている場合、mysql-community-server-5.7.28-1.el7.x86_64.rpmのインストール時に次のエラー
警告が表示されることがあります。mysql -community-server-5.7.28-1.el7.x86_64.rpm：ヘッダーV3DSA / SHA1署名、キーID 5072e1f5：NOKEY
エラー：依存関係チェックに失敗しました：
libaio.so.1（）（64ビット）はmysql-community-server-5.7.28-1.el7.x86_64には
libaio.so.1が必要です（LIBAIO_0.1）（64bit）はmysql-community-server-5.7.28-1.el7.x86_64には
libaio.so.1（LIBAIO_0.4）（64bit）はmysql-community-server-5.7.28-1が必要です.el7.x86_64には
ここに画像の説明を挿入
解決策が必要です。
不足している依存関係をyumを介してインストールしてから、mysql-community-server-5.7.28-1.el7.x86_64を再インストールします。

sudo yum install -y libaio

5./etc/my.cnfファイルのdatadirが指すディレクトリ内のすべてのコンテンツを削除します

コンテンツがある場合：
datadirの値を確認してください：

[mysqld]
datadir=/var/lib/mysql

/ var / lib / mysqlディレクトリのすべての内容を削除します。

cd /var/lib/mysql
sudo rm -rf ./*    #注意执行命令的位置

6.データベースを初期化します

コマンドを実行してデータベースを初期化します

 sudo mysqld --initialize --user=mysql

7.rootユーザーの一時的に生成されたパスワードを表示します

sudo cat /var/log/mysqld.log

ここに画像の説明を挿入

8.MySQLサービスを開始します

sudo systemctl start mysqld

9.MySQLデータベースにログインします

[atguigu @hadoop102 opt]$ mysql -uroot -p
Enter password:   输入临时生成的密码

10. rootユーザーのパスワードを最初に変更する必要があります。そうしないと、他の操作を実行するときにエラーが報告されます。

mysql> set password = password("123456");

11. mysqlライブラリの下のuserテーブルでrootユーザーを変更して、任意のIP接続を許可します

mysql> update mysql.user set host='%' where user='root';
mysql> flush privileges;

MySQL例外

MySQLのインストールに問題があり、再インストールする必要がある場合は、すべてのインストールコンテンツをクリアする必要があります。
スクリプトを削除してください。

#!/bin/bash
service mysql stop 2>/dev/null
service mysqld stop 2>/dev/null
rpm -qa | grep -i mysql | xargs -n1 rpm -e --nodeps 2>/dev/null
rpm -qa | grep -i mariadb | xargs -n1 rpm -e --nodeps 2>/dev/null
rm -rf /var/lib/mysql
rm -rf /usr/lib64/mysql
rm -rf /etc/my.cnf
rm -rf /usr/my.cnf

ハイブのインストール

1.インストールパッケージをアップロードします

Linuxの/ opt / softwareディレクトリにapache-hive-3.1.2-bin.tar.gzをアップロードします

2.解凍します

apache-hive-3.1.2-bin.tar.gzを/ opt / module /ディレクトリに解凍します

 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

3.名前を変更します

apache-hive-3.1.2-bin.tar.gzの名前をhiveに変更します

[atguigu@hadoop102 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

4. /etc/profile.d/my_env.shを変更し、環境変数を追加します

 sudo vim /etc/profile.d/my_env.sh

5.コンテンツを追加します

環境変数で以下を構成します

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

6.ログJarパッケージの競合を解決します

mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

MySqlへのHiveメタデータ構成

1.ドライブ構成

MySQLJDBCドライバーをHiveのlibディレクトリにコピーします

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

2.メタストアをMySqlに構成します

$ HIVE_HOME / confディレクトリに新しいhive-site.xmlファイルを作成します

vim $HIVE_HOME/conf/hive-site.xml

次のコンテンツを追加します

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 创建表的位置-->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
    <!-- 指定hiveserver2连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop102</value>
</property>

    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop102:9083</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
</property>
<!-- Hive元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
</property>

<!-- hiveserver2的高可用参数，开启此参数可以提高hiveserver2的启动速度 -->
<property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
</property>
</configuration>

スタートアップ構成

1.MySQLにログインします

mysql -uroot -p123456

2.新しいHiveメタデータデータベースを作成します

mysql> create database metastore;
mysql> quit;

3.Hiveメタデータデータベースを初期化します

schematool -initSchema -dbType mysql -verbose

4.メタストアとhiveserver2を起動します

ハイブを使用する場合は、メタストアとhiveserver2プロセスを開始する必要があります

ただし、コマンドで開始すると、起動後にウィンドウが操作されなくなります。他の操作を行うには、新しいシェルウィンドウを開く必要があります。この方法はお勧めしません。

hive --service metastore 
hive --service hiveserver2

5.ハイブサービス起動スクリプトを作成します

フォアグラウンドで開始する方法では、複数のシェルウィンドウを開く必要があります。次の方法を使用
して、バックグラウンドモードでnohupを開始できます。コマンドの先頭に配置して、ハングしないことを示します。ターミナルプロセスを閉じて、実行を続行します

2>＆1：エラーが標準出力にリダイレクトされることを示します

＆：コマンドの最後に配置され、バックグラウンドで実行されていることを示します

一般的に組み合わせて使用​​されます：nohup [xxxコマンド操作]>ファイル2>＆1＆、これはxxxコマンドを実行することを意味します

結果はファイルに出力され、コマンドによって開始されたプロセスはバックグラウンドで実行され続けます。

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    
    
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    
    
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    
    
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

6.実行権限を追加します

chmod +x $HIVE_HOME/bin/hiveservices.sh

7、開始

Hiveバックグラウンドサービスを開始します（hadoopを最初に開始する必要があります）

beelineクライアントアクセス

# 启动beeline客户端
beeline -u jdbc:hive2://hadoop102:10000 -n atguigu
# 退出客户端
!quit

ハイブクライアントアクセス

# 启动hive客户端
hive
# 退出客户端
quit
ハイブ構成は、現在のライブラリとヘッダーを出力します

次の2つの構成をhive-site.xmlに追加します。

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

おすすめ

転載: blog.csdn.net/qq_38705144/article/details/111731445
おすすめ
米国は中国とロシアへの大型AIモデルの輸出を制限する計画
Apple、ChatGPTをiPhoneに導入することでOpenAIと合意に達する
ランキング
エコー、Linuxは最も悲しいコマンドです
OpenCVの目標追跡 - 黄Chaoxian
インターバルマージ [ペア、ソート]
Javaの8並行プログラミング
時間を[行く]包
2つのソリューションCSS揃えテキスト
ASP.NET MVCのコアアプリケーションのバックグラウンドタスク
JAVAのドキュメントは、カスタムプロパティを記述する
オーディオとビデオに基づくビデオの主なコンセプト
phpstudyバックドアRCE使用バッチスクリプト
アーカイブ
もっと
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)
2024-05-08(18)
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)
2024-05-02(0)

コードワールド

© 2018 codetd.com