シリーズ記事ディレクトリ

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

記事ディレクトリ

シリーズ記事ディレクトリ
序文
1. アイデアのテスト
2.ケーステスト
要約する

序文

ここに画像の説明を挿入

前のレッスンで増分更新について話したとき、弟の上司は、増分実装のために、増分データを読み取るか、履歴データを再度読み取るかを尋ねました。私の理解によれば、クリティカルはインクリメントを読むことです。. . 、上司は理解に同意しません！さて、テストしてみましょう.この記事で、読者は私の出血する心を感じます.あなたにそのような経験があるかどうか尋ねてもよろしいですか. . .

1. アイデアのテスト

上記の kafka のケースから続けて、プロデューサーはデータを kafka に送信し、flink-sql は kafka データを iceberg に送信します. このセクションでは、iceberg から消費を続けます. テスト: select * from hive_iceberg_catalog.ods_base.IcebergSink_XXZH / + OPTIONS('
streaming ' = 'true', 'monitor-interval'='1s') /
この sql のインクリメンタルオペレータがトリガーされたとき、それはフルかインクリメンタルか

2.ケーステスト

1.コード

 
     public static void main(String[] args) throws Exception {
    
    
        //TODO 1.准备环境
        //1.1流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        //1.2 表执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);


        String sql2 = "CREATE CATALOG hive_iceberg_catalog WITH (\n" +
                "    'type'='iceberg',\n" +
                "    'catalog-type'='hive',\n" +
                "    'uri'='thrift://hadoop101:9083',\n" +
                "    'clients'='5',\n" +
                "    'property-version'='1',\n" +
                "    'warehouse'='hdfs:///user/hive/warehouse/hive_iceberg_catalog'\n" +
                ")";
        String sql3 = "use catalog hive_iceberg_catalog";
        String sql4 = "CREATE TABLE IF NOT EXISTS ods_base.IcebergSink_XXZH (\n" +
                "    `log` STRING,\n" +
                "\t`dt` INT\n" +
                ")with(\n" +
                "    'write.metadata.delete-after-commit.enabled'='true',\n" +
                "    'write.metadata.previous-versions-max'='5',\n" +
                "    'format-version'='2'\n" +
                " )";
      String sql6 = "select * from  hive_iceberg_catalog.ods_base.IcebergSink_XXZH /*+ OPTIONS('streaming'='true', 'monitor-interval'='1s')*/ ";

        tableEnv.executeSql(sql2);
        tableEnv.executeSql(sql3);
        tableEnv.executeSql(sql4);
        tableEnv.executeSql(sql6).print();



        //TODO 6.执行任务
        env.execute();

    }

2.プログラムを開始します

コンソールは履歴データを出力します

| +I |                              e |    20230101 |
| +I |                              e |    20230101 |
| +I |                              e |    20230101 |
| +I |                             >e |    20230101 |
| +I |                              e |     2023010 |
| +I |                            abc |    20240101 |
| +I |                           abcd |    20240101 |
| +I |                           abcd |    20240101 |
| +I |                              ; |      (NULL) |
| +I |                             ； |      (NULL) |
| +I |                              ; |      (NULL) |
| +I |                             ； |      (NULL) |
22/06/16 21:09:21 INFO compress.CodecPool: Got brand-new decompressor [.gz]
| +I |                              1 |    20220601 |
22/06/16 21:09:21 INFO compress.CodecPool: Got brand-new decompressor [.gz]
| +I |                              2 |    20220601 |

3. プロデューサーを起動して結果を観察する

[root@hadoop101 lib]# kafka-console-producer.sh --broker-list  hadoop101:9092,hadoop102:9092,hadoop103:9092  --topic test_xxzh

次のいずれかを入力してください:

2,20220606

コンソールを観察すると、もう 1 つのインクリメントがあることがわかります。

22/06/16 21:15:48 INFO compress.CodecPool: Got brand-new decompressor [.gz]
| +I |                              2 |    20220606 |

要約する

select * from hive_iceberg_catalog.ods_base.IcebergSink_XXZH / + OPTIONS('streaming'='true', 'monitor-interval'='1s') /

この文法的な確認は、すべてのデータを 1 回読み直すのではなく、データを段階的に処理することです。

演習データレイクアイスバーグレッスン 35 は、データレイクアイスバーグのストリームバッチ統合アーキテクチャに基づいています。増分読み取りが完全か増分のみかをテストします。

シリーズ記事ディレクトリ

記事ディレクトリ

序文

1. アイデアのテスト

2.ケーステスト

1.コード

2.プログラムを開始します

3. プロデューサーを起動して結果を観察する

要約する

おすすめ

演習データ レイク アイスバーグ レッスン 35 は、データ レイク アイスバーグのストリーム バッチ統合アーキテクチャに基づいています。増分読み取りが完全か増分のみかをテストします。

シリーズ記事ディレクトリ

記事ディレクトリ

序文

1. アイデアのテスト

2.ケーステスト

1.コード

2.プログラムを開始します

3. プロデューサーを起動して結果を観察する

要約する

おすすめ

演習データレイクアイスバーグレッスン 35 は、データレイクアイスバーグのストリームバッチ統合アーキテクチャに基づいています。増分読み取りが完全か増分のみかをテストします。