Kafka 关于消费者组名Consumer Group

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/CSDN_WANGQI/article/details/79523595

由于本人是在Windows个人机上搭建了一个Kafka服务。所以使用中遇到了一个棘手的问题,也是第一次使用Kafka消息队列,所以对其核心知识知之甚少。

一个困扰了些许时日的问题,经常因为log文件正被另一个进程使用中,而导致Kafka挂掉。

经过排查,最后发现是由于有多个工程在连接Kafka服务充当消费者,而消费者组名是相同的,因为我这里是有很多topic,多个消费者工程针对不同topic在同时运行的时候,Kafka会把组名相同的log写入同一个log文件。然而Windows机器又不允许多个进程同时搞一个log文件,所以经常导致服务挂掉。

解决方法:如果业务实际的确存在多个多个消费者同时消费不同的topic(同一个topic的消息是不能被多个消费者重复读取的),各个消费者工程,可以选择不同的Consumer Group名称(我没有修改默认配置,应该是最多能接受50个消费者组),如此各个消费者组的运行log就不会写入同一个log文件,避开了Windows的文件机制。

猜你喜欢

转载自blog.csdn.net/CSDN_WANGQI/article/details/79523595