【总结笔记】kafka工作常见问题汇总

  • 没有禁用"自动创建topic"的功能

已经增加参数auto.create.topics.enable=false,否则任何人只要发数据给kafka,没有对应的topic都会自动创建,一旦生产者多了会乱套。

  • 数据保留周期过短

已经修改为3天,log.retention.hours=72。默认是3小时,阿里云的破环境有时候网络出问题就得三小时,来不及消费的消息就没了。

  • 节点有点少(一主一备,最小集群得3个,暂时2个也能玩)

咱们kafka broker就2个节点,创建topic一般会配置副本因为为1,副本和主本一般应该在不同的机器上,否则从数据冗余角度来说没啥意义。

  • data目录跟mariadb的数据目录混在一起了

我重启kafka发现起不来,原因是数据目录下放了mariadb的数据,启动时kafka认为是一个topic的分区,结果检查数据发现不对就直接退出了。

由log.dirs=/data改为了log.dirs=/data/kafka

 

  • 消费者无法消费的问题

这个问题有点隐蔽,打开host.name配置就好,在每个broker分配打开配置:host.name=10.45.41.173(各节点用自己的IP),原因如下:

 

我们知道配置consumer时只需要提供zookeeper信息即可,consumer会从zk获取broker、topic、partition信息的。

而zk里存的这些信息是broker启动起来之后写到zk里的,broker有个配置项advertised.host.name,broker就是把它的值写到了zk。

 

advertised.host.name如果不配置,他会等于host.name的值,前提是host.name配置打开了,否则host.name的值就是java.net.InetAddress.getCanonicalHostName 的值,在mac上、windows上这个值返回IP,但在linux上这个值就是 hostname 的值。

 

一旦zk里存的是broker的hostname,而producers和consumers的/etc/hosts文件又没改,那他没法完成从hostname到IP的映射,因此就不能生产和消费。

 

  • 已有topicpartition有点少

partition都只有2个,创建topic时可以多一点,比如16个,消费的时候一个partition对应一个线程比较合适

发布了79 篇原创文章 · 获赞 211 · 访问量 29万+

猜你喜欢

转载自blog.csdn.net/dajiangtai007/article/details/102725811