Flink SQL如何保证分topic有序

一、场景

在做实时数仓的时候,我们需要保证提高消费能力和数据有序,那如果要用Flink sql 和 Kafka交互,就会出现如下两个问题:

  1. flink sql 通过ddl读取和写入kafka怎么设置并行度呢?
  2. flink sql 通过ddl写入kafka怎么自定义分区呢?

二、问题剖析

首先我们知道Flink sql不支持不支持相关的设置,但是可以通过env或配置文件设置所有算子的并行度。同时kafka默认分区有序,所以source的并发一般小于等于kafka的partition数,理想状态是1:1。sink的并发一般也是和输出topic相关,如果要保证有序,可以按key进行分区,保证数据均匀可以自定义分区策略,比如roundrobin、shuffle等。

提示:对kafka分区不熟悉的可以看我之前总结的相关文章:
深入分析Kafka架构(三):消费者消费方式、三种分区分配策略、offset维护

三、解决方案

首先第一个问题我们可以为咱们的程序设置默认的并发度,用代码或者命令行参数,配置文件都可以。
第二个问题可以将 connector.sink-partitioner设置为 custom, 然后设置 connector.sink-partitioner-class

猜你喜欢

转载自blog.csdn.net/qq_26803795/article/details/107402432