kafka多集群部署

把书读薄(Kafka权威指南 第八章)

常见的集群模式比较

1. Hub架构。一个中心的kafka集群做中央调度,对应多个本地的kafka集群。【变种是一个关键的kafka集群对应一个非关键的跟随者】
优点:只有本地用到的数据就在本地使用,多个数据中心需要用到的数据就放在中央,从本地同步到远程的次数也就只有一次,这样读取的时候,需要本地的就本地读,否则远程读,也就是消费者只需要从一个集群读数据即可
缺点:一个数据中心的不能访问另一数据中心的
2. 双活架构。 多个集群之间保持数据同步。
优点:一个集群挂掉可以直接转向另外一个,而且可以就近的提供服务
缺点:集群之间同步数据如何避免冲突,保证数据一致性
3. 主备架构。有两个集群,平常只用主集群, 另外一个集群只有当主集群出了问题才用。
优点:不需要担心数据访问和冲突问题
缺点:有一个集群的资源浪费,同时需要考虑备份的量的问题,以及恢复的过程中是否可以重复数据或者丢失部分数据
4. 延展集群。单个数据中心故障的时候,重新定位到另一个数据中心 。
优点:有一定的灾备能力,一个中心挂了,使用另一个,延展集群不是多个集群而是一个集群,使用的方式是kafka内部的复制机制,把数据放到其他的broker,而不是集群之间的复制与同步
缺点:kafka本身出了问题无法避免

猜你喜欢

转载自blog.csdn.net/weixin_39687783/article/details/80150237