Auto.offset.reset

Auto.offset.reset参数有3个值,分别是earliest,latest,none

earliest:

当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费

latest:

当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据

none:

topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常


默认建议用earliest,设置该参数后 kafka出错后重启,找到未消费的offset可以继续消费
latest这个设置容易丢失消息,假如kafka出现问题,还有数据往topic中写,这个时候重启kafka,这个设置会从最新的offset开始消费,中间出问题的那些数据就丢失了
none这个设置兼容性太差,容易出问题

发布了82 篇原创文章 · 获赞 328 · 访问量 22万+

猜你喜欢

转载自blog.csdn.net/qq_43733123/article/details/104979103
今日推荐