关于Kafka(五) 消费者

消费者概念

消费者读取过程

创建消费者对象 -> 订阅主题 -> 读取消息 -> 验证消息 -> 保存消息

消费者群组

消费者属于消费者群组,一个消费者群组对应一个主题,一个消费者读取一个或多个分区

当消费者来不及读取生产者的写入时,就需要消费者的伸缩性,即增加群组中的消费者,这是横向伸缩消费能力的主要方式

再均衡

分区的所有权从一个消费者转移到另一个消费者,叫做再均衡,实现系统高可用性和伸缩性

    > 再均衡期间,无法读取分区消息

    > 当前读取进度消失,拖慢应用程序

群组协调器

    消费者向被指派为群组协调器的broker发送心跳维持和群组的从属关系和对分区的所有权关系

轮询

轮询是消费者API的核心,包含群组协调,再均衡,发送心跳和获取数据

提交和偏移量

提交:更新分区当前读取位置的操作叫做提交

偏移量:消息在分区中的位置,决定了消费者下次开始读取消息的位置

提交偏移量总的来说就是指更新当前读取消息在分区中的位置

如果提交偏移量小于当前处理的消息位置,则两个之间的消息会被再次处理

如果提交偏移量大于当前处理的消息位置,则两个之间的消息会丢失






猜你喜欢

转载自blog.csdn.net/weixin_42129080/article/details/80865584
今日推荐