目录
相关测试结论
声明：本文部分内容，可能需要了解Kafka相关基础知识才能看懂。
准备工作
第一步：安装并启动Kafka(详见https://blog.csdn.net/justry_deng/article/details/88381595)。
注：需要开放相应的端口(或者关闭防火墙)。
第二步：配置Kafka相关参数。
# -> -> -> -> -> -> -> -> -> -> -> -> kafka 基础配置
# 指定kafka 代理地址，可以多个，以逗号分隔
spring.kafka.bootstrap-servers=192.168.2.100:9095
# -> -> -> -> -> -> -> -> -> -> -> -> kafka 消息生产者
# 重试次数
spring.kafka.producer.retries=0
# -> -> -> -> -> -> -> -> -> -> -> -> kafka 消息消费者
# 偏移量策略设置
# earliest(当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费)
# latest(当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据)
# none(topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常)
spring.kafka.consumer.auto-offset-reset=latest
# 允许自动提交消费者偏移量
spring.kafka.consumer.enable-auto-commit=true第三步：在pom.xml中引入相关依赖。
<!-- 需要引入与所安装的kafka对应版本的依赖 -->
<!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>2.2.2.RELEASE</version>
</dependency>注：引入什么版本的依赖需要看安装的是什么版本的Kafka。
更多对应关系可详见http://spring.io/projects/spring-kafka。
注：本人安装的Kafka版本是2.1.0的，所以会这里引入的依赖时2.2.x的spring-kafka。
这里给出完整的pom.xml：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.2.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.aspire</groupId>
<artifactId>kafka</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>kafka</name>
<description>java使用kafka，简单示例</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<!-- 需要引入与所安装的kafka对应版本的依赖 -->
<!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>2.2.2.RELEASE</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
编写消费者生产者
项目结构说明：
注:从上往下分别是消费者、生产者、启动项目时会进行消息发送的Runner类、配置文件、pom.xml文件。
生产者(示例)：
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;
/**
* 生产者
*
* @author JustryDeng
* @date 2019/2/15 9:44
*/
@Component
public class MyProducer {
private final KafkaTemplate<String, String> kafkaTemplate;
public MyProducer(KafkaTemplate<String, String> kafkaTemplate) {
this.kafkaTemplate = kafkaTemplate;
}
/**
* 发送消息
* 注:kafkaTemplate.send(param...)是一个异步的方法，其发送结果可以通过Future的实现来获得。
*
* @author JustryDeng
* @date 2019/2/15 12:01
*/
public void sendMessage(String message){
String topic = "topicB";
// 将消息发送到指定的主题下；这里可以是一个不存在的主题，会自动创建(注:自动创建的主题默认的分区数量是1个)
kafkaTemplate.send(topic, message);
}
}
注：KafkaTemplate提供了多个发送消息的方法，上例所示只是其一。
消费者：
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
/**
* 消费者
*
* @author JustryDeng
* @date 2019/2/15 9:44
*/
@Component
public class MyConsumer {
/**
* 注:@KafkaListener注解的属性很多，包括 匹配topic、错误处理、分组等等，
* 实际使用时根据项目情况灵活运用即可。
*
* @author JustryDeng
* @date 2019/2/15 12:30
*/
@KafkaListener(topics = {"topicOne", "topicB"}, groupId = "group-01")
public void consumerOne(String message) {
System.out.println("consumerOne消费了消息 -> " + message);
}
/**
* 注:@KafkaListener注解的属性很多，包括 匹配topic、错误处理、分组等等，
* 实际使用时根据项目情况灵活运用即可。
*
* @author JustryDeng
* @date 2019/2/15 12:30
*/
@KafkaListener(topics = {"topicOne", "topicB"}, groupId = "group-01")
public void consumerTwo(String message) {
System.out.println("consumerTwo消费了消息 -> " + message);
}
/**
* 注:@KafkaListener注解的属性很多，包括 匹配topic、错误处理、分组等等，
* 实际使用时根据项目情况灵活运用即可。
*
* @author JustryDeng
* @date 2019/2/15 12:30
*/
@KafkaListener(topics = {"topicOne", "topicB"}, groupId = "group-02")
public void consumerThree(String message) {
System.out.println("consumerThree消费了消息 -> " + message);
}
}
注：更多的时候，我们会使用ConsumerRecord<K, V>来接收消息，因为我们可以从该模型中获取到更多的信息，如：
ConsumerRecord<K, V>中封装的信息有：
测试一下
Runner测试类如下：
启动SpringBoot，控制台输出：
注：topicB是本人创建的拥有三个分区的一个主题。
说明：因为consumerOne和consumerTwo同属于一个消费者组，所以他两加起来消费了的才是全部的消息；
而consumerThree属于另一个消费者组，所以consumerThree自己消费了的就是所有的消息(见下面的注释)。
注：在一次消费中，如果多个消费者是属于同一个组的，那么一个分区最多只能被一个消费者消费。而如果是不同
的消费者组，那么在一次消费中，每个消费者组都可以消费一次这个消息。比喻说明：将消息比作学校给班级
发的西瓜，消费者组比作是一个又一个班级，一个班级(消费者组)里面有多个学生(消费者)；那么就是每个班级
都有学校发的一个西瓜，而这个班级里面的所有学生消费品尝同一个西瓜。
相关测试结论：
- 每个消费者组都能百分百的消费一批消息(不存在说被这个组消费了就不能被其他组消费的说法)。
- 在一个消费者组内，如果被消费的主题的分区数量等于消费者个数，那么一个消费者消费一个分区(这并不等于说消费者A消费的只能是分区x；可能这批消息是消费者A消费分区x，消费者B消费分区y;那么下批消息可能就是消费者A消费分区y，消费者B消费分区x了)。
- 在一个消费者组内，如果被消费的主题的分区数量多于消费者个数，那么当消费者把各自分区的消息消费完毕后，就会去抢着消费剩下的无消费者的分区。
- 在一个消费者组内，如果被消费的主题的分区数量少于消费者个数，那么在这批消息的消费中，就会有消费者空闲。
由此可见，SpringBoot整合并使用Kafka成功!