Debezium系列之：设置debezium发送给Kafka消息的最大大小

一、认识相关kafka参数

connector.client.config.override.policy

值	描述
None	默认策略，不允许任何配置的覆写
Principal	允许覆盖生产者、消费者和admin前缀的security.protocol、sasl.jaas.config和sasl.mechanism
All	允许覆盖生产者、消费者和admin前缀的所有配置

max.request.size（默认值为1048576）

• Producer单次发往某个Borker的请求最大值。Sender线程将属于某个Broker的多个ProducerBatch封装成一个ClientRequest，多个ProducerBatch大小之和不能超过max.request.size设置的值。
• max.request.size设置的值不应该比Broker端设置的message.max.bytes大。

二、设置kafka能传递的最大参数

方案一全局修改：

• connect-distributed.properties配置文件中设置producer.max.request.size: 20485760

方案二只修改部分debezium连接器：

• producer.override.max.request.size设置为更大值来覆盖默认值
• 需要确保connect-distributed.propertie配置文件中connector.client.config.override.policy=ALL