使用Kafka客户端(kafka-clients)的Java API操作Kafka的Topic

记录：460

场景：在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka的Topic的创建和删除。

版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。

Kafka安装：https://blog.csdn.net/zhangbeizhen18/article/details/129071395

1.微服务中配置Kafka信息信息

1.1在pom.xml添加依赖

pom.xml文件：

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>3.0.0</version>
</dependency>

解析：使用原生的kafka-clients，版本：3.0.0。操作kafka的生产者、消费、Topic。

2.使用AdminClient创建Kafka的Topic

AdminClient全称：org.apache.kafka.clients.admin.AdminClient

(1)示例代码

@RestController
@RequestMapping("/hub/example/topic")
@Slf4j
public class UseKafkaTopicController {
  private String topicName = "hub-topic-city-02";
  @GetMapping("/f01_1")
  public Object f01_1() {
      try {
          //1.获取Kafka配置信息
          Map<String, Object> configs = new HashMap<>();
          configs.put("bootstrap.servers", "192.168.19.203:29001");
          //2.创建客户端AdminClient
          AdminClient adminClient = KafkaAdminClient.create(configs);
          //3.获取Topic清单
          Set<String> topicSet = adminClient.listTopics().names().get();
          log.info("在Kafka已建Topic数量: {} ,清单:", topicSet.size());
          topicSet.forEach(System.out::println);
          //4.创建Topic
          if (!topicSet.contains(topicName)) {
              log.info("新建Topic: {}", topicName);
              // Topic名称,分区Partition数目,复制因子(replication Factor)
              NewTopic newTopic = new NewTopic(topicName, 1, (short) 1);
              Collection<NewTopic> newTopics = Lists.newArrayList(newTopic);
              adminClient.createTopics(newTopics);
          }
      } catch (Exception e) {
          log.info("创建Topic异常.");
          e.printStackTrace();
      }
      return "创建成功";
  }
}

(2)解析代码

操作Kafka的Topic需要先创建AdminClient，使用AdminClient的API创建Topic。

创建Topic一般只需指定Topic名称,分区Partition数目,复制因子(replication Factor)就行。

3.使用AdminClient删除Kafka的Topic

AdminClient全称：org.apache.kafka.clients.admin.AdminClient

(1)示例代码

@RestController
@RequestMapping("/hub/example/topic")
@Slf4j
public class UseKafkaTopicController {
  private String topicName = "hub-topic-city-02";
  @GetMapping("/f01_2")
  public Object f01_2() {
      try {
          //1.获取Kafka配置信息
          Map<String, Object> configs = new HashMap<>();
          configs.put("bootstrap.servers", "192.168.19.203:29001");
          //2.创建客户端AdminClient
          AdminClient adminClient = KafkaAdminClient.create(configs);
          //3.获取Topic清单
          Set<String> topicSet = adminClient.listTopics().names().get();
          //4.删除Topic
          if (topicSet.contains(topicName)) {
              log.info("删除Topic: {}", topicName);
              Collection<String> topics = Lists.newArrayList(topicName);
              DeleteTopicsResult deleteTopicsResult = adminClient.deleteTopics(topics);
              deleteTopicsResult.all().get();
          }
      } catch (Exception e) {
          log.info("删除Topic异常.");
          e.printStackTrace();
      }
      return "删除成功";
  }
}

(2)解析代码

操作Kafka的Topic需要先创建AdminClient，使用AdminClient的API删除Topic。

创建Topic一般只需指定Topic名称就行。

4.测试

创建请求RUL：http://127.0.0.1:18209/hub-209-kafka/hub/example/topic/f01_1

删除请求RUL：http://127.0.0.1:18209/hub-209-kafka/hub/example/topic/f01_2

以上，感谢。

2023年6月17日