1.概述
下面介绍一些kafka消费者的主要参数
1.1 session.timeout.ms
非常重要的参数之一 ! 很多 Kafka 初学者搞不清楚到底这个参数是做什么用的,下面就来详细探讨一下。简单来说, session.timeout.ms 是 consumer group 检测组内成员发送崩溃的时间 。
假设你设置该参数为 5 分钟,那么当某个 group 成员突然崩攒了(比如被 kill -9 或岩机), 管理 group 的 Kafka 组件(即消费者组协调者,也称 group coordinator,
coordinator 有可能需要 5 分钟才能感知到这个崩溃。显然我们想要缩短这个时间,让coordinator 能够更快地检测到 consumer 失败 。遗憾 的是,这个参数还有另外一重含义 :consumer 消息处理逻辑的最大时间一一倘若 consumer 两次 poll 之间的间隔超过了该参数所设
置的阑值,那么 coordinator 就会认为这个 consumer 己经追不上组内其他成员的消费进度了,因此会将该 consumer 实例“踢出”组,该 consumer 负责的分区也会被分配给其他 consumer。
在最好的情况下,这会