KafkaConsumer偏移量提交

Kafka没有采用类似于RabbitMQ的在消费端的消息确认机制,而是采用消息偏移量,让KafkaConsumer知道哪些消息已经消费了,还有哪些没有消费。

KafkaConsumer的“提交”动作就是往“_consumer_offset”的特殊主体发送消息,消息里包含了每个分区的偏移量。KafkaConsumer在每次进行poll时,都需要获得相应的分区最后一次提交的偏移量,然后从最新的偏移量开始读取。

对偏移量的提交机制在一些场景下会产生消息的丢失和重读,网上有很多关于丢失和重读的解释,以及解决办法。

下面这篇文章,较详细的解释了提交和偏移量的一些细节。

《深入解析Kafka消费者——提交和偏移量》https://blog.csdn.net/ljheee/article/details/81605754

猜你喜欢

转载自blog.csdn.net/quqtalk/article/details/84869978