kafka学习(七)

            跨集群数据镜像

 

跨集群镜像的使用场景

1.区域集群和中心集群
2.冗余,发生紧急情况下使用第二个集群,保存相同的数据。
3.云迁移
 

多集群架构

 
跨集群中心通信的一些现实情况
1.高延迟
2.有限的宽带
3.高成本
 
hub和spoke架构
这种架构适用于一个中心kafka集群对应多个本地kafka集群的情况。
 
双活架构,集群交互过多
 
主备架构 常见的故障转移
 
延展集群
 

kafka集群消息复制工具mirrorMaker

kafka提供了一个简单的工具,用于在两个数据中心之间镜像数据。 mirrorMaker为每个消费者分配一个线程,消费者从源集群的主题和分区上读取数据,然后通过公共生产者将数据发送到目标集群上。
 
如何配置
mirrorMaker是高度可配置的。
consumer.config 该参数用于指定消费者的配置文件。
producer.config 该参数用于指定生产者的配置文件
new.consumer
num.starams 一个流就是一个消费者。
 
whitelist 这是一个正则表达式,代表了需要进行镜像的主题名字。
 
mirrorMaker 调优这个去看kafka官方对几个配置设置
 
但是mirrorMaker 是kafka提供的 但是并不能满足一些要求。
 
这里还有其他解决方案,如优步uRelicator ,confluent的Replicator

猜你喜欢

转载自www.cnblogs.com/Seeasunnyday/p/9241279.html