kafka使用Apache Avro框架反序列化数据
本文是我对接大数据kafka队列时,使用Avro反序列化获取消息的教程。
Apache Avro
Apache Avro是一个基于二进制数据传输高性能的中间件。在传输的过程中Avro对数据二进制序列化后节约数据存储空间和网络传输带宽。 具体的可以去官网了解,这里就不赘述了。https://avro.apache.org/
依赖
<!--kafka-->
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
<!--arvo-->
<dependency>
<groupId>org.apache.avro</groupId>
<artifactId>avro</artifactId>
<version>1.9.0</version>
</dependency>
<!--kafka arvo的KafkaAvroDeserializer-->
<dependency>
<groupId>io.confluent</groupId>
<artifactId>kafka-avro-serializer</artifactId>
<version>5.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/io.confluent/kafka-schema-registry -->
<dependency>
<groupId>io.confluent</groupId>
<artifactId>kafka-schema-registry</artifactId>
<version>4.1.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/io.confluent/kafka-schema-registry-client -->
<dependency>
<groupId>io.confluent</groupId>
<artifactId>kafka-schema-registry-client</artifactId>
<version>5.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/io.confluent/common-config -->
<dependency>
<groupId>io.confluent</groupId>
<artifactId>common-config</artifactId>
<version>5.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/io.confluent/common-utils -->
<dependency>
<groupId>io.confluent</groupId>
<artifactId>common-utils</artifactId>
<version>5.3.0</version>
</dependency>
<!--使用arvo的KafkaAvroDeserializer-->
<repositories>
<repository>
<id>confluent</id>
<url>http://packages.confluent.io/maven/</url>
</repository>
</repositories>
配置
#kafka集群信息
kafka.consumer.bootstrap.servers=xxx
kafka.consumer.topic=xxx
kafka.consumer.group.id=xxx
#在使用Kafka的组管理时,用于检测消费者故障的超时
kafka.consumer.session.timeout.ms=30000
#并发处理kafka的消息,提高客户端的消费能力
kafka.consumer.concurrency=3
#使用kafka中提供的Avro序列化框架实现反序列化
kafka.consumer.key.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
kafka.consumer.value.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
#schema
kafka.consumer.schema.registry.url.key=schema.registry.url
kafka.consumer.schema.registry.url.value=xxxx
# 消费者的偏移量不自动提交
kafka.consumer.enable.auto.commit.hospinfo=false
kafka.consumer.auto.offset.reset.hospinfo=earliest
注意:
- 上面的反序列化的方式,一定要和生产者的同事使用的序列化方式一致。
- schema.registry.url要有,这个也找生产者那边的同事索要。
- 以上配置,写到配置类里面就行了其他的不多说。
关键消费者代码
*/
@KafkaListener(groupId = "#{'${kafka.consumer.group.id}'}", topics = "#{'${kafka.consumer.topic}'}", containerFactory = "KafkaListenerContainerFactory")
@Transactional(rollbackFor = Exception.class)
@Override
public void onMessage(ConsumerRecord<String, GenericRecord> data, Acknowledgment acknowledgment) {
log.info("data:{}", data);
GenericRecord value = data.value();
String valueStr = value.toString();
JSON.parseObject(valueStr, XXX.class);
//………………
acknowledgment.acknowledge();