系列文章目录

文章目录

系列文章目录
前言
一、flink 客户端配置hive catalog
总结

前言

问题： flink的sql-client上，创建表，只是当前session有用，退出回话，需要重新创建表。多人共享一个表，很麻烦，有什么办法？
解决方法：把建表的DDL操作，持久化到HIVE上，由hive来管理。如何实现呢？使用hive catalog，在hive catalog下创建表。所有表都是持久化的。
官网的说明： https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/hive/hive_catalog/

一、flink 客户端配置hive catalog

1. 具体配置

$FLNK_HOME/conf 下增加 sql-client-defaults.yaml 配置文件。
以下是配置默认catalog和database方法：

[root@hadoop101 conf]# cat sql-client-defaults.yaml 
execution:
    planner: blink
    type: streaming
    current-catalog: myhive  # set the HiveCatalog as the current catalog of the session
    current-database: mydatabase
    
catalogs:
   - name: myhive
     type: hive
     hive-conf-dir: /opt/module/hive/conf

先通过hive创建这个database:

hive (default)> create database mydatabase;
OK
Time taken: 1.079 seconds

2. 重新进入客户端，观察catalog变化

进入sql-client

Flink SQL> show current catalog;
+----------------------+
| current catalog name |
+----------------------+
|               myhive |
+----------------------+
1 row in set



Flink SQL> show current database;
+-----------------------+
| current database name |
+-----------------------+
|            mydatabase |
+-----------------------+
1 row in set

3.创建表，观察catalog对表持久化效果

CREATE TABLE IF NOT EXISTS KafkaTableSource (
  `log` STRING
) WITH (
  'connector' = 'kafka',
  'topic' = 'test1',
  'properties.bootstrap.servers' = 'hadoop101:9092,hadoop102:9092,hadoop103:9092',
  'properties.group.id' = 'testGroup',
  'scan.startup.mode' = 'earliest-offset',
  'format' = 'raw'
);

Flink SQL> CREATE TABLE IF NOT EXISTS KafkaTableSource (
>   `log` STRING
> ) WITH (
>   'connector' = 'kafka',
>   'topic' = 'test1',
>   'properties.bootstrap.servers' = 'hadoop101:9092,hadoop102:9092,hadoop103:9092',
>   'properties.group.id' = 'testGroup',
>   'scan.startup.mode' = 'earliest-offset',
>   'format' = 'raw'
> );
[INFO] Execute statement succeed.

退出，重新进入客户端

Flink SQL> show tables;
+------------------+
|       table name |
+------------------+
| kafkatablesource |
+------------------+

1 row in set

总结

以上介绍 DDL表通过HIVE CATALOG的持久化,并介绍sql-client如何配置默认的catalog,
那如何使用sql定义一个新的catalog? iceberg 的catalog之前配过，配一个普通的，怎么配？

实践数据湖iceberg 第三十二课 DDL语句通过hive catalog持久化方法