MirrorMaker kafka跨集群同步方案

以下内容是我之前配置的集群同步方案。

脚本路径

/usr/local/kafka/bin/kafka-mirror-maker.sh

consumer.properties

bootstrap.servers=10.255.30.152:9092

group.id=mirrorGroupTest

auto.offset.reset=earliest

partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor

producer.properties

bootstrap.servers=10.255.30.132:9092 compression.type=none retries=3

启动脚本:start-mirror-maker.sh

nohup bin/kafka-mirror-maker.sh --consumer.config MirrorMaker/consumer.properties --producer.config MirrorMaker/producer.properties --whitelist ' test' &

如需要调试,查看debug日志 可以修改

/usr/local/kafka/config/tools-log4j.properties

接下来进行测试:

需要注意的问题:

consumer.properties (10.255.30.152:9092) 需要同步的消息源集群

producer.properties (10.255.30.132:9092) 为消息目标集群

结果:消息写入10.255.30.152:9092 集群, 此时消息会被复制到目标集群10.255.30.132:9092。

惠惠街 每天千款优惠劵秒杀

猜你喜欢

转载自blog.csdn.net/xiaoping117/article/details/109649620