GBase RTSync 产品平台和指标和关键技术

一. 产品架构:

GBase RTSync 实时同步系统由四个子系统组件组成,分别是数据捕获组 件、消息队列组件、数据投递组件和管理组件 :  数据捕获组件,从数据源获取并解析增量数据逻辑日志,按照特定的 协议标准封装后发送给消息队列;  消息队列组件,传输和缓冲数据捕获组件发送的数据。目前支持 Kafka 以及 Rabbit MQ,两者均可保证高可用;  数据投递组件,从消息队列组件中获取协议数据,并根据目标库的类 型,组织和优化数据,将数据写入目标数据库;  管理组件,启、停和监控数据捕获、投递组件,校验源和目标端数据 同步相关配置信息。

二. 产品平台和指标

1.支持的操作系统和平台 支持如下的操作系统和平台: 32/64 位 Linux 系列(Red Hat 、CentOS 、SUSE) JDK1.8 以上版本 

2. 硬件环境 1) 支持基于 x86_64 的标准 PC 服务器; 2) 支持千兆、万兆 Ethernet 网络; 3) 支持 InfiniBand 网络

三.GBase RTSync 关键技术

 3.1 松耦合架构 GBase RTSync 采用多组件松耦合的架构,将控制流与业务流分离,将同 步过程中增量数据捕获和数据投递功能分别赋予数据捕获组件和数据投递组 件,从而实现模块职责单一化的目标,可以具备以下优势: 1、单一职责,可实现分布式部署; 2、性能更加优化; 3、可实现与第三方同步系统集成。 

3.2 实时同步 GBase RTSync 的数据捕获组件从源数据库实时获取事务逻辑日志,完成 解析与格式化,并以消息中间件为中介提供给数据投递组件,最终由数据投递 组件实时将数据写入目标数据库。 

3.3 数据一致性 采用消息中间件作为同步数据的缓冲,在数据捕获组件和数据投递组件具 备断点续传能力的前提下,充分利用 OLTP 数据库的事务特性确保了同步到目 标数据库的数据与源数据库保持一致。

3.4 高可用性 GBase RTSync 可工作在高可用部署方式下。当部署为高可用方式时,可 根据实际应用场景同时启动多个 RTSync 服务,但同时只有一个 RTSync 服务 提供服务;当该服务不可用时,可由其他 RTSync 服务在短时间内自动接管, GBase RTSync 技术白皮书保证源端与目标端之间的数据同步基本不中断,接管过程无人工干预。 同时,结合灵活的断点续传机制,保证源端与目标端的数据一致性。

3.5 精准同步 支持不同粒度的数据同步,如库级、表级、列级的增量数据同步,从而可 以精准的完成不同业务场景下业务功能所需数据的同步,即实现定制化数据同 步,可以仅同步业务需要使用到的数据,提升数据同步的精准性和效率。 3.6 灵活配置 首先,数据捕获组件支持配置多个数据源,以及可以配置不同类型的数据 源,实现多个数据源向目标数据库实时同步数据,特别适用于多个 OLTP 数据 库向 OLAP 数据库汇集数据的业务场景;其次,支持多个目标数据库,从而通 过配置多源到多目标的方式,实现实例级同步;最后,还可通过配置将同库下 多表拆分同步到目标库对应表的方式,实现表的并行同步。

3.7 可集成 消息中间件采用当前比较流行的 kafka 或者 Rabbit MQ,消息传输协议采 用标准的数据交换格式,且不依赖于开发语言,方便与第三方同步系统集成。

3.8 轻量级 RTSync 可单独部署,占用较少生产系统资源,且消息传输协议采用二进 制数据传输格式,效率较高,有效利用网络带宽。

3.9 高可扩展 可扩展支持多种源端数据库类型。 GBase RTSync 支持基于 SQL-92 标准的明文 SQL 消息格式,可快速添加支持的目标数据 库类型。 可快速实现对其他消息队列的支持。

猜你喜欢

转载自blog.csdn.net/weixin_62941622/article/details/121679034