kafka笔记:生产者投递消息exactly once 精准一次性(幂等性解决消息重复投递)

上一节最后总结了分区HW高水位线的意义:

  • 保证了副本数据之间的一致性
  • 保证了消费者消费数据的一致性
  • 不能保证数据投递不丢失或者不重复。

今天就来解决消息丢失或者重复问题

producer发送消息的时候可以设置ack等级:

at most once 最多一次
acks=0 只发送一次,丢数据,不会重复发送

at lestest once 最少一次
acks=-1或者all,不丢失数据,但可能重复数据。


如何实现消息投递exactly once 精准一次性?

目标:不丢失数据,不重复数据。

至少一次可以保证数据不丢失,再进行去重即可。

at lestest once+幂等性= exactly once

  • 幂等性解释:
    是指producer无论向broker发送了多少条重复的消息,broker只会持久化一条。

  • 如何启用幂等性?

    在producer中开启enable.idompotence=true,此时默认就开启了acks=-1

幂等性实现原理:

producer连接到broker的时候会分配一个PID (producer_id),producer发送消息到统一个分区partition的时候,消息会附带一个sequence number序列号,broker会以<PID,Patition,SeqNumber>作为主键key进行缓存,当具有相当的
主键key的消息进行提交的时候,Broker只会持久化一条。

kafka中幂等性存在的问题:

  • 幂等性只解决了当前的会话且当前的分区的幂等性。跨分区、会话不能实现精准一次性投递写入。
    当producer重启后,broker分配的PID(producer_id)会发生变化。切换分区后,Patition也发生了变化。最终导致<PID,Patition,SeqNumber>作为主键的key也会发生变化。

猜你喜欢

转载自blog.51cto.com/phpme/2513909