kafka实战(三):关于大消息进 kafka 配置

在日志分析系统中我们使用 kakfa 一般对消息大小要求不大,因为一条日志的大小相对来说还是比较小的。但有时候我们需要用 kafka 传送较大的信息,例如每条消息 1M 以上的信息 (1M=1048576 字节)。我们需要修改一些配置了。

config/producer.properties

max.request.size=10485760

说明:请求的最大字节数。这也是对最大记录尺寸的有效覆盖。注意:server 具有自己对消 息记录尺寸的覆盖,这些尺寸和这个设置不同。此项设置将会限制 producer 每次批量发送 请求的数目,以防发出巨量的请求。

config/server.properties

message.max.bytes=10485760

说明:服务器可以接收的最大大小。这个属性跟 consumer 使用的最大 fetch 大小是一致的, 这很重要,否则一个不守规矩的 producer 会发送一个太大的消息。

replica.fetch.max.bytes=10465760
说明:复制数据过程中,replica 发送给 leader 的 fetch 请求试图获取数据的最大的字节数。 要大于等于 message.max.bytes。

重启 kafka 即可。

更多:kafka深入理解专栏

——————————————————————————————————

作者:桃花惜春风

转载请标明出处,原文地址:  

https://blog.csdn.net/xiaoyu_BD/article/details/81782712

如果感觉本文对您有帮助,请留下您的赞,您的支持是我坚持写作最大的动力,谢谢!

猜你喜欢

转载自blog.csdn.net/xiaoyu_BD/article/details/81782712