0x01 前言

Spring for Apache Kafka项目将Spring核心概念应用于基于Kafka的消息传递解决方案的开发。 Spring 官方提供“template”作为发送消息的高级抽象。还为消息驱动的POJO提供支持。

0x02 升级注意事项

2.1 从2.1到2.2 的改动

这部分介绍从2.1版到2.2版的改动。

2.1.1 Kafka Client 版本

此版本需要2.0.0 kafka-clients或更高版本

2.1.2 类和包改变

ContainerProperties类已从org.springframework.kafka.listener.config移至org.springframework.kafka.listener。

AckMode枚举类型已从AbstractMessageListenerContainer移至ContainerProperties。

setBatchErrorHandler()和 setErrorHandler()方法已从ContainerProperties移动到
AbstractMessageListenerContainer和AbstractKafkaListenerContainerFactory。

2.1.3 回滚处理

提供了一种新的AfterRollbackProcessor策略。

有关更多信息，请参阅After-rollback Processor

2.1.4 ConcurrentKafkaListenerContainerFactory 变化

您现在可以使用ConcurrentKafkaListenerContainerFactory来创建和配置任何ConcurrentMessageListenerContainer，而不仅仅是@KafkaListener注解的那些。

有关更多信息，请参阅容器工厂

2.1.5 Listener Container 变化

添加了一个新的容器属性（missingTopicsFatal）。有关更多信息，请参阅使用KafkaMessageListenerContainer。

消费者终止时会发出ConsumerStoppedEvent。有关更多信息，请参阅线程安全

批处理监听器可以选择接收完整的ConsumerRecords<?,?>对象而不是List <ConsumerRecord <?,?>。有关更多信息，请参阅批处理监听器

DefaultAfterRollbackProcessor和SeekToCurrentErrorHandler现在可以恢复（跳过）保持失败的记录，默认情况下，在10次失败后也会这样做。可以将它们配置为将失败的记录发布到dead-letterTopic。

从版本2.2.4开始，可以在选择dead-letter topic名称时使用消费者的group ID。

有关详细信息，请参阅回滚处理器，寻找当前容器错误处理程序和发布Dead-letter 记录。

添加了ConsumerStoppingEvent。有关更多信息，请参阅事件

现在可以将SeekToCurrentErrorHandler配置为在使用AckMode.MANUAL_IMMEDIATE（自2.2.4开始）配置容器时提交已恢复记录的偏移量。有关详细信息，请参阅“查找当前容器错误处理程序”。

2.1.6 @KafkaListener 变化

您现在可以通过在注解上设置属性来覆盖监听器容器工厂的concurrency和autoStartup属性。您现在可以添加配置以确定将哪些标头（如果有）复制到回复消息。有关更多信息，请参阅@KafkaListener Annotation。

您现在可以使用@KafkaListener作为自己注解的元注解。有关详细信息，请参阅@KafkaListener作为Meta Annotation。

现在可以更轻松地为@Payload验证配置Validator。有关更多信息，请参阅@KafkaListener @Payload Validation。

您现在可以直接在注解上指定kafka使用者属性; 这些将覆盖使用者工厂中定义的具有相同名称的任何属性（从2.2.4版开始）。有关更多信息，请参阅注解属性。

2.1.7 Header Mapping 改动

MimeType和MediaType类型的标头现在映射为RecordHeader值中的简单字符串。以前，它们被映射为JSON并且仅解码了MimeType。 MediaType无法解码。它们现在是互操作性的简单字符串。

此外，DefaultKafkaHeaderMapper有一个新的addToStringClasses方法，允许使用toString()而不是JSON来规范应该映射的类型。有关更多信息，请参阅消息标题。

2.1.8 嵌入式 Kafka 变化

不推荐使用KafkaEmbedded类及其KafkaRule接口，而使用EmbeddedKafkaBroker及其JUnit 4 EmbeddedKafkaRule包装器。 @EmbeddedKafka注解现在填充EmbeddedKafkaBroker bean而不是已弃用的KafkaEmbedded。此更改允许在JUnit 5测试中使用@EmbeddedKafka。 @EmbeddedKafka注解现在具有属性ports，用于指定填充EmbeddedKafkaBroker的端口。有关更多信息，请参阅测试应用

2.1.9 JsonSerializer/Deserializer增强功能

您现在可以使用生产者和消费者属性提供类型映射信息。

反序列化器上有新的构造函数，允许使用提供的目标类型覆盖类型头信息。

JsonDeserializer现在默认删除任何类型信息头。

您现在可以使用Kafka属性配置JsonDeserializer以忽略类型信息标头（自2.2.3起）。

有关更多信息，请参阅序列化，反序列化和消息转换。

2.9.10 Kafka Streams 改变

流配置bean现在必须是KafkaStreamsConfiguration对象而不是StreamsConfig对象。

StreamsBuilderFactoryBean已从包...core移至...config。

在KStream实例之上构建条件分支时，引入了KafkaStreamBrancher以获得更好的最终用户体验。

2.9.11 事务ID

当监听器容器启动事务时，transactional.id现在是附加<group.id>.<topic>.<partition>的transactionIdPrefix。

3. 介绍

参考文档的第一部分是Spring for Apache Kafka的高级概述，以及可以帮助您尽快启动和运行的基础概念和一些代码片段。

3.1 快速开始

这是开始使用Spring Kafka的五分钟之旅。

先决条件：您必须安装并运行Apache Kafka。然后你必须抓住spring-kafka JAR及其所有依赖项。最简单的方法是在构建工具中声明依赖项。以下示例显示了如何使用Maven执行此操作：

<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
  <version>2.2.4.RELEASE</version>
</dependency>

如果是Gradle的话配置如下:

compile 'org.springframework.kafka:spring-kafka:2.2.4.RELEASE'

3.3.1 兼容性

此快速浏览适用于以下版本：

Apache Kafka客户端2.0.0
Spring Framework 5.1.x
最低Java版本：8

3.3.2 一个快速简单的例子

如以下示例所示，您可以使用普通Java发送和接收消息：

@Test
public void testAutoCommit() throws Exception {
    logger.info("Start auto");
    ContainerProperties containerProps = new ContainerProperties("topic1", "topic2");
    final CountDownLatch latch = new CountDownLatch(4);
    containerProps.setMessageListener(new MessageListener<Integer, String>() {

        @Override
        public void onMessage(ConsumerRecord<Integer, String> message) {
            logger.info("received: " + message);
            latch.countDown();
        }

    });
    KafkaMessageListenerContainer<Integer, String> container = createContainer(containerProps);
    container.setBeanName("testAuto");
    container.start();
    Thread.sleep(1000); // wait a bit for the container to start
    KafkaTemplate<Integer, String> template = createTemplate();
    template.setDefaultTopic(topic1);
    template.sendDefault(0, "foo");
    template.sendDefault(2, "bar");
    template.sendDefault(0, "baz");
    template.sendDefault(2, "qux");
    template.flush();
    assertTrue(latch.await(60, TimeUnit.SECONDS));
    container.stop();
    logger.info("Stop auto");

}

private KafkaMessageListenerContainer<Integer, String> createContainer(
                        ContainerProperties containerProps) {
    Map<String, Object> props = consumerProps();
    DefaultKafkaConsumerFactory<Integer, String> cf =
                            new DefaultKafkaConsumerFactory<Integer, String>(props);
    KafkaMessageListenerContainer<Integer, String> container =
                            new KafkaMessageListenerContainer<>(cf, containerProps);
    return container;
}

private KafkaTemplate<Integer, String> createTemplate() {
    Map<String, Object> senderProps = senderProps();
    ProducerFactory<Integer, String> pf =
              new DefaultKafkaProducerFactory<Integer, String>(senderProps);
    KafkaTemplate<Integer, String> template = new KafkaTemplate<>(pf);
    return template;
}

private Map<String, Object> consumerProps() {
    Map<String, Object> props = new HashMap<>();
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    props.put(ConsumerConfig.GROUP_ID_CONFIG, group);
    props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
    props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "100");
    props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "15000");
    props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, IntegerDeserializer.class);
    props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    return props;
}

private Map<String, Object> senderProps() {
    Map<String, Object> props = new HashMap<>();
    props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    props.put(ProducerConfig.RETRIES_CONFIG, 0);
    props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
    props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
    props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
    props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, IntegerSerializer.class);
    props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    return props;
}

3.1.3 使用Java 配置

您可以使用Java中的Spring配置执行上一个示例中显示的相同工作。以下示例显示了如何执行此操作：

@Autowired
private Listener listener;

@Autowired
private KafkaTemplate<Integer, String> template;

@Test
public void testSimple() throws Exception {
    template.send("annotated1", 0, "foo");
    template.flush();
    assertTrue(this.listener.latch1.await(10, TimeUnit.SECONDS));
}

@Configuration
@EnableKafka
public class Config {

    @Bean
    ConcurrentKafkaListenerContainerFactory<Integer, String>
                        kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<Integer, String> factory =
                                new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        return factory;
    }

    @Bean
    public ConsumerFactory<Integer, String> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, embeddedKafka.getBrokersAsString());
        ...
        return props;
    }

    @Bean
    public Listener listener() {
        return new Listener();
    }

    @Bean
    public ProducerFactory<Integer, String> producerFactory() {
        return new DefaultKafkaProducerFactory<>(producerConfigs());
    }

    @Bean
    public Map<String, Object> producerConfigs() {
        Map<String, Object> props = new HashMap<>();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, embeddedKafka.getBrokersAsString());
        ...
        return props;
    }

    @Bean
    public KafkaTemplate<Integer, String> kafkaTemplate() {
        return new KafkaTemplate<Integer, String>(producerFactory());
    }

}

public class Listener {

    private final CountDownLatch latch1 = new CountDownLatch(1);

    @KafkaListener(id = "foo", topics = "annotated1")
    public void listen1(String foo) {
        this.latch1.countDown();
    }

}

3.1.4 使用Spring Boot，甚至更快

Spring Boot可以让事情变得更简单。以下Spring Boot应用程序向主题发送三条消息，接收它们并停止：

@SpringBootApplication
public class Application implements CommandLineRunner {

    public static Logger logger = LoggerFactory.getLogger(Application.class);

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args).close();
    }

    @Autowired
    private KafkaTemplate<String, String> template;

    private final CountDownLatch latch = new CountDownLatch(3);

    @Override
    public void run(String... args) throws Exception {
        this.template.send("myTopic", "foo1");
        this.template.send("myTopic", "foo2");
        this.template.send("myTopic", "foo3");
        latch.await(60, TimeUnit.SECONDS);
        logger.info("All received");
    }

    @KafkaListener(topics = "myTopic")
    public void listen(ConsumerRecord<?, ?> cr) throws Exception {
        logger.info(cr.toString());
        latch.countDown();
    }

}

Boot负责大部分配置。当我们使用本地代理时，我们需要的唯一属性如下：

application.properties

spring.kafka.consumer.group-id=foo
spring.kafka.consumer.auto-offset-reset=earliest

我们需要第一个属性，因为我们使用组管理将主题分区分配给消费者，因此我们需要一个组。第二个属性确保新的使用者组获取我们发送的消息，因为容器可能在发送完成后启动。

本节完~

第一集 Spring for Apache Kafka入门