Hive：元数据的三种部署方式

编程语言 2023-09-17 03:54:36 阅读次数: 0

Hive元数据的三种部署方式

元数据库之Derby

1.内嵌模式示意图：
在这里插入图片描述

2.Derby数据库：
Derby数据库是Java编写的内存数据库，在内嵌模式中与应用程序共享一个JVM，应用程序负责启动和停止。

  1. 初始化Derby数据库
    1）在hive根目录下，使用/bin目录中的schematool命令初始化hive自带的Derby元数据库
    [atguigu@hadoop102 hive]$ bin/schematool -dbType derby -initSchema

2）执行上述初始化元数据库时，会发现存在jar包冲突问题，现象如下：
（hadoop和hive下都有这个jar包，以底层的hadoop为主，改了hive的）
SLF4J: Found binding in [jar:file:/opt/module/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]

3）解决jar冲突问题，只需要将hive的/lib目录下的log4j-slf4j-impl-2.10.0.jar重命名即可
[atguigu@hadoop102 hive]$ mv lib/log4j-slf4j-impl-2.10.0.jar lib/log4j-slf4j-impl-2.10.0.back

4.启动Hive
1）执行/bin目录下的hive命令，就可以启动hive，并通过cli方式连接到hive
[atguigu@hadoop102 hive]$ bin/hive

2）使用Hive

hive> show databases;                                      // 查看当前所有的数据库
OK
default
Time taken: 0.472 seconds, Fetched: 1 row(s)
hive> show tables;                                         // 查看当前所有的表
OK
Time taken: 0.044 seconds
hive> create table test_derby(id int);            // 创建表test_derby，表中只有一个字段，字段类型是int
OK
Time taken: 0.474 seconds
hive> insert into test_derby values(1001);                 // 向test_derby表中插入数据
Query ID = atguigu_20211018153727_586935da-100d-4d7e-8a94-063d373cc5dd
Total jobs = 3
……
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
……
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 6.19 sec   HDFS Read: 12769 HDFS Write: 208 SUCCESS
Total MapReduce CPU Time Spent: 6 seconds 190 msec
OK
Time taken: 31.901 second
hive> select * from test_derby;                                // 查看test_derby表中所有数据
OK
1001
Time taken: 0.085 seconds, Fetched: 1 row(s)
hive> exit;
  1. 内嵌模式只有一个JVM进程
    在内嵌模式下，命令行执行jps –ml命令，只能看到一个CliDriver进程。
    [atguigu@hadoop102 hive]$ jps –ml
    7170 sun.tools.jps.Jps -ml
    6127 org.apache.hadoop.util.RunJar /opt/module/hive/lib/hive-cli-3.1.2.jar org.apache.hadoop.hive.cli.CliDriver

6.Hive自带的元数据库的问题
演示采用Derby作为元数据库的问题：
开启另一个会话窗口运行Hive，同时监控/tmp/atguigu目录中的hive.log文件，会观察到如下错误信息。
Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /opt/module/hive/metastore_db.
at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)
at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)
at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.privGetJBMSLockOnDB(Unknown Source)
at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.run(Unknown Source)
…
Hive默认使用的元数据库为derby并且部署方式是内嵌式，在开启Hive之后就会独占元数据库，且不与其他客户端共享数据，如果想多窗口操作就会报错，操作比较局限。为此Hive支持采用MySQL作为元数据库，就可以支持多窗口操作。

元数据库之Mysql

  1. 直连模式示意图：
    在这里插入图片描述

2.MySQL安装部署
1）检查当前系统是否安装过Mysql，如果存在就是用下列命令移除，如果不存在则忽略。（一定要做这一步）
[atguigu@hadoop102 hive]$ rpm -qa|grep mariadb
mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载
[atguigu@hadoop102 hive]$ sudo rpm -e --nodeps mariadb-libs //用此命令卸载mariadb

2）将MySQL安装包上传到/opt/software目录下
[atguigu@hadoop102 software]$ ll
总用量 528384
-rw-r–r–. 1 root root 609556480 3月 21 15:41 mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

3）解压MySQL安装包资源到/opt/software 下新创建的mysql_jars目录
[atguigu@hadoop102 software]$ mkdir /opt/software/mysql_jars
[atguigu@hadoop102 software]$ tar -xf /opt/software/mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/software/mysql_jars

4）查看mysql_jars目录下解压后的文件如下：
[atguigu@hadoop102 software]$ cd /opt/software/mysql_jars
[atguigu@hadoop102 mysql_jars]$ ll
总用量 595272
-rw-r–r–. 1 atguigu atguigu 45109364 9月 30 2019 mysql-community-client-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 318768 9月 30 2019 mysql-community-common-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 7037096 9月 30 2019 mysql-community-devel-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 49329100 9月 30 2019 mysql-community-embedded-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 23354908 9月 30 2019 mysql-community-embedded-compat-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 136837816 9月 30 2019 mysql-community-embedded-devel-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 4374364 9月 30 2019 mysql-community-libs-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 1353312 9月 30 2019 mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 208694824 9月 30 2019 mysql-community-server-5.7.28-1.el7.x86_64.rpm
-rw-r–r–. 1 atguigu atguigu 133129992 9月 30 2019 mysql-community-test-5.7.28-1.el7.x86_64.rpm

扫描二维码关注公众号，回复： 16733667 查看本文章

5）在/opt/software/mysql_jars目录下执行rpm安装，严格按照如下顺序执行
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
注意: linux采用最小化安装会存在问题。

6）如果在mysql的数据存储路径下有文件存在，需要将其全部删除，存储路径地址在/etc/my.cnf文件中datadir参数所对应的值:
·查看datadir的值：
[atguigu@hadoop102 etc]$ vim my.cnf
……
[mysqld]
datadir=/var/lib/mysql
·删除/var/lib/mysql目录下的所有内容:
[atguigu@hadoop102 hive]$ cd /var/lib/mysql
[root@hadoop102 mysql]$ sudo rm -rf ./* //千万注意执行命令的位置

7）初始化数据库（这个是mysql数据库安装后的初始化）,会创建mysql内部数据库和表。
[atguigu@hadoop102 module]$ sudo mysqld --initialize --user=mysql

8）初始化完成后，查看临时生成的root用户的密码，也是首次登录msql的密码
[atguigu@hadoop102 module]$ sudo cat /var/log/mysqld.log
2021-10-18T08:50:32.172049Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2021-10-18T08:50:32.364322Z 0 [Warning] InnoDB: New log files created, LSN=45790
2021-10-18T08:50:32.397350Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
2021-10-18T08:50:32.453522Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 73e2af3c-2ff0-11ec-af41-000c29830057.
2021-10-18T08:50:32.454765Z 0 [Warning] Gtid table is not ready to be used. Table ‘mysql.gtid_executed’ cannot be opened.
2021-10-18T08:50:32.978960Z 0 [Warning] CA certificate ca.pem is self signed.
2021-10-18T08:50:33.314317Z 1 [Note] A temporary password is generated for root@localhost: OU+*c.C9FZy;

9）启动MySQL服务
[atguigu@hadoop102 module]$ sudo systemctl start mysqld

10）登录MySQL数据库
[atguigu@hadoop102 module]$ mysql -uroot -p
Enter password: (你的暂时密码) //输入临时生成的密码

11）必须先修改root用户的密码,否则执行其他的操作会报错
mysql> set password = password(“新密码”);

12）修改mysql库下的user表中的root用户允许任意ip连接
mysql> update mysql.user set host=‘%’ where user=‘root’;

13）刷新，使得修改生效
mysql> flush privileges;

3.配置Hive元数据库为MySql

  1. 拷贝驱动
    Hive需要将元数据信息存储到元数据库mysql中，需要使用JDBC的方式连接到MySQL，所以，将MySQL的JDBC驱动拷贝到Hive的lib目录下，供hive调用。
    [atguigu@hadoop102 software]$ cp mysql-connector-java-5.1.37.jar /opt/module/hive/lib

2）配置Metastore到MySql
在/opt/module/hive/conf目录下新建hive-site.xml文件(新建的配置文件中的配置会覆盖默认配置)
[atguigu@hadoop102 hive]$ vim conf/hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>
    <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
</property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
   <!-- Hive元数据存储的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
</configuration>

4.Hive初始化元数据库
在mysql中创建hive存储元数据的数据库metastore，再通过hive的初始化元数据库操作创建表
1）登陆MySQL
[atguigu@hadoop102 module]$ mysql -uroot -p你的密码

2）新建Hive元数据库
mysql> create database metastore;
mysql> quit;

3）初始化Hive元数据库
[atguigu@hadoop102 hive]$ bin/schematool -initSchema -dbType mysql -verbose

5.启动Hive
1）启动Hive
[atguigu@hadoop102 hive]$ bin/hive

2）使用Hive
hive> show databases; // 查看所有的数据库
hive> show tables; // 查看所有的表，刚才创建的表test_derby是否存在？为什么？
hive> create table test_mysql (id int); // 创建test_mysql表，一个字段为id，类型为int
hive> insert into test_mysql values(1002); // 向表test_mysql中插入数据
hive> select * from test_mysql; // 查看test2表

3）开启另一个窗口测试，是否支持客户端并发访问
[atguigu@hadoop102 hvie]$ bin/hive
hive> show tables;
hive> select * from test_mysql;

5.直连模式问题：
在公司生产环境中，网络环境会非常复杂，mysql的所在环境可能存在网络隔离，无法直接访问；另外，mysql的root账户和密码在此模式下会存在泄露风险，存在数据安全隐患。
思考：在hadoop103上部署hive，元数据库使用的仍然是hadoop102的Mysql实例，如何实现？

元数据之MetaStore Server

1.元数据服务模式示意图
在这里插入图片描述

2.元数据服务模式
在服务器端启动MetaStore服务，客户端利用Thrift协议通过MetaStore服务访问元数据库。
元数据服务的访问方式更适合在生产环境中部署使用，相比内嵌式，该方式更加的灵活。（跨网络跨语言跨平台）

3.将Mysql做为元数据库，部署元数据服务
1）首先，将hive的元数据库配置为Mysql
[atguigu@hadoop102 hive]$ vim conf/hive-site.xml

2）在hive-site.xml文件中添加如下配置信息

    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop102:9083</value>
</property>

注意：在配置了此参数后，启动hive之前必须先启动元数据服务，否则，hive启动后无法连接到元数据服务

2）启动元数据服务
[atguigu@hadoop102 hive]$ bin/hive --service metastore
2021-10-18 18:22:24: Starting Hive Metastore Server
注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作
1）启动 hive，查看表及表中数据，是否是Mysql数据库中的表。
2）在另一个窗口启动hive，测试多客户端能否同时连接操作。
思考：在hadoop103上使用元数据服务模式部署hive如何实现？

猜你喜欢

转载自blog.csdn.net/weixin_45427648/article/details/131819877
今日推荐
Linus “吃狗粮”最积极！
开源日报 | Winamp播放器即将开源；生成式AI之战升级第二轮；Linus“吃狗粮”最积极；AI进入泡沫前期；吴泳铭为阿里云带来了什么？
NetBSD 禁止提交由 AI 生成的代码
Apache Doris 2.0.10 版本正式发布！
开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
周排行
SVN服务端安装在阿里云
实战 | 相机标定
webpack核心概念
note20——》只要肯低头吃苦，人生就会有救
PAT甲级 1062 Talent and Virtue （25 分）排序
NG Toolset开发笔记--5GNR Resource Grid（26）
如何对待上司
oracle命令
第9章 STL迭代器
logstash使用es映射模板
每日归档
更多
2024-05-20(36)
2024-05-19(0)
2024-05-18(4)
2024-05-17(34)
2024-05-16(6)
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022