如何对MySQL数据库中的数据进行实时同步

www.syncnavigator.cn

SyncNavigator 做数据同步时所支持的数据库类型:

支持sqlserver 2000-2014所有版本,全兼容,和MYsql 4.x 、MYsql 5.x 、MYsql 6.x版本。

来源数据库和目标数据库可以版本不同,比如:来源数据库是sqlserver 2012  目标数据库是mysql 5.5 ,都是可以的, SyncNavigator 支持跨数据库版本,无缝传输数据。

只需要能连接上数据库, SyncNavigator 可以安装在第三方电脑上,来源数据库和目标数据库电脑上可以不用安装程序。

设置好数据库连接地址,点击测试连接,能脸上来源数据库和目标数据库, SyncNavigator 就能进行高效数据传输服务

通过阿里云数据传输,并使用 dts-ads-writer 插件, 可以将您在阿里云的云数据库 RDS for MySQL 中数据表的变更实时同步到分析型数据库中对应的实时写入表中(RDS 端目前暂时仅支持 MySQL 引擎)。

前提条件

您需要在您 RDS for MySQL 所在的云账号下开通阿里云数据传输服务服务器上需要有 Java 6 或以上的运行环境(JRE/JDK)。

操作步骤

1. 在分析型数据库上创建目标表,数据更新类型为实时写入,字段名称和 MySQL 中的建议均相同;

2. 在阿里云数据传输的控制台上创建数据订阅通道,并记录这个通道的 ID;

3. 配置 dts-ads-writer/app.conf 文件,配置方式如下:所有配置均保存在 app.conf 中,运行前请保证配置正确;修改配置后,请重启 writer。

基本配置

tables 节点的配置示例, 表示 rds_db 库下的 rds_table 表对应 ads_table 表,并且 rds_table 表的 col1 列对应 ads_table 表的 col1_ads 列, rds_table 表的 col2 列对应 ads_table 表的 col2_ads列。

注意事项

1)RDS for MySQL 表和分析型数据库中表的主键定义必须完全一致;如果不一致会出现数据不一致问题。如果需要调整 RDS/分析型数据库表的主键,建议先停止 writer 进程;

2)一个插件进程中分析型数据库 db 只能是一个,由 adsJdbcUrl 指定;

3)一个插件进程只能对应一个数据订阅通道;如果更新通道中的订阅对象时,需要重启进程;

4)RDS for MySQL 中 DDL 操作不做同步处理;

5)更新 app.conf 需要重启插件进程才能生效;

6)如果工具出现 bug 或某种其它原因需要重新同步历史数据,只能回溯最近 24 小时的数据(在阿里云数据传输的控制台中修改消费位点);

7)插件的最大同步性能与运行插件的服务器的互联网带宽和磁盘 IOPS 成正比。

4. 运行 dts-ads-writer/bin/startup.sh(sh bin/startup.sh);

5. 配置监控程序监控进程存活和日志中的常见错误码。

logs 目录下的日志中的异常信息均以 ErrorCode=XXXX ErrorMessage=XXXX 形式给出,可以进行监控,具体如下

猜你喜欢

转载自blog.csdn.net/weixin_43668066/article/details/83986779