Kafka如何处理大量积压消息

1、consumer故障导致kafka积压了大量消息

场景:原来topicA 有3个partition
思路:扩展机器数量,创建新的topicB ,设定10个partition,之前A的消费者逻辑改为获取到topicA的消息之后,发topicB的消息,然后新的10台机器来处理topicB的数据,这样效率是以前的3倍。

2、消息过期失效
也是因为数据大量堆积没有消费,参考场景1 扩展临时机器

发布了343 篇原创文章 · 获赞 24 · 访问量 8万+

猜你喜欢

转载自blog.csdn.net/lbh199466/article/details/104725660