在日志分析系统中我们使用 kakfa 一般对消息大小要求不大,因为一条日志的大小相对来说还是比较小的。但有时候我们需要用 kafka 传送较大的信息,例如每条消息 1M 以上的信息 (1M=1048576 字节)。我们需要修改一些配置了。
config/producer.properties
max.request.size=10485760
说明:请求的最大字节数。这也是对最大记录尺寸的有效覆盖。注意:server 具有自己对消 息记录尺寸的覆盖,这些尺寸和这个设置不同。此项设置将会限制 producer 每次批量发送 请求的数目,以防发出巨量的请求。
config/server.properties
message.max.bytes=10485760
说明:服务器可以接收的最大大小。这个属性跟 consumer 使用的最大 fetch 大小是一致的, 这很重要,否则一个不守规矩的 producer 会发送一个太大的消息。
replica.fetch.max.bytes=10465760
说明:复制数据过程中,replica 发送给 leader 的 fetch 请求试图获取数据的最大的字节数。 要大于等于 message.max.bytes。
重启 kafka 即可。
更多:kafka深入理解专栏
——————————————————————————————————
作者:桃花惜春风
转载请标明出处,原文地址:
https://blog.csdn.net/xiaoyu_BD/article/details/81782712
如果感觉本文对您有帮助,请留下您的赞,您的支持是我坚持写作最大的动力,谢谢!