开源MySQL数据传输中间件—DTLE

目前,随着MySQL在各个行业的深入使用,在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、支持多种使用场景的数据传输中间件。


DTLE:

http://dtle.cloud

https://github.com/actiontech/dtle

对应文档地址:

https://actiontech.github.io/dtle-docs-cn/

DTLE QQ群852990221



DTLE是什么?


DTLE是一个开源的数据传输中间件,其针对的核心场景如下: 


  • 跨数据中心的数据传输:DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本

  • 云间数据同步/迁移:DTLE能提供在公有云间架设数据同步通道,以支持数据容灾等需求

  • 数据汇聚:DTLE能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能

  • 数据订阅:DTLE能将数据源的变更消息发往Kafka等消息中间件,以支持数据订阅通知/缓存失效通知等需求

  • 跨数据中心的双向复制:DTLE能在数据中心间提供双向复制通道,以配合业务实现数据双写


为什么要开源?


随着MySQL在各行业的使用场景逐渐成熟,以数据传输为基础的需求逐渐增多。若要设计一款良好的数据传输中间件,要解决的核心问题是:如何保障质量、适配复杂场景、提供多样功能。


DTLE logo-01.jpg

在2017年10月24日,爱可生开源了MySQL分布式中间件—DBLE。时隔一年,DBLE与社区互动良好,从社区吸纳了许多设计经验和质量反馈,已成为一款成熟的数据库中间件。随着社区用户增多,已实现了与社区用户的双赢。


爱可生此次开源DTLE,是真诚为社区提供MySQL生态圈里一个可持续发展的工具,并希望与社区再次达成双赢,解决数据传输中间件的核心问题。


DTLE的设计特点


  • 分布式架构:DTLE在数据传输这个基本场景上,使用了成熟的分布式任务调度架构,可以便捷地在集群中配置大量的数据传输任务,提供断点续传/故障转移等分布式系统的重要特性

  • 灵活的网络适配能力:DTLE可适配复杂的网络架构,提供跨数据中心的数据通道功能和公有云间的数据通道功能

  • 多场景适配:DTLE通过组合多个原子任务,可适配复杂的数据传输场景


关于开源 MySQL 数据传输中间件DTLE更多技术细节我们后期会持续输出,版本更新维护及使用问题反馈,欢迎加入DTLE(Q群:852990221)。


猜你喜欢

转载自blog.51cto.com/13803662/2308373