WWW.SyncNavigator.CN 数据同步的软件
SyncNavigator是一款专门用于SqlServer、Mysql数据同步的软件，由国内顶级开发团队开发完成，经历8年逐步完善，目前具备强大的数据同步功能，国内很多大型连锁超市，企业，公司都在用SyncNavigator数据同步软件进行着数据同步服务。
它可以为我们提供智能化数据同步，对您重要的数据库进行实时同步操作，也可以设置定时任务传输，即使您的来源数据库和目标数据库版本不一样，表结构不一样，甚至是字段不一样，SyncNavigator也可以轻松帮您实现高效传输同步。
如果来源数据库和目标数据库表结构，字段一样，那么全部保持默认设置即可，如果是异构数据库，只需要动动鼠标，轻松绑定来源数据库表名和字段，一一匹配，就能完成异构数据库实时同步。
SyncNavigator可将数据库同步到不同版本的数据库上，无论你的数据库是SqlServer 2000、还是SqlServer2008，还是SqlServer2014等，或者Mysql ，SyncNavigator都能轻松在他们之间无缝同步。
SyncNavigator数据库同步软件支持断点续传同步功能，第一次安装配置好基本参数之后，就完全不用管，系统会在后台执行，开关机也不影响数据同步，系统会在下次联网的时候继续上次未完成的作业，在数据库同步的过程中出现故障，也能继续同步数据库，并确保数据完整性。
SyncNavigator同步是采用增量数据完成的，所以同步效率很高，每次只同步新数据或者新修改的数据，实时同步基本响应速度是毫秒级的，能迅速将源数据库产生的新数据，或者修改的数据同步到目标数据库上，确保数据完整性。
SyncNavigator有完善的日志、报告邮件发送功能，能保留每一步同步的步骤，供用户查阅，邮件提醒功能能实时提醒传输进度。
SyncNavigator数据库传输工具可以设置每张表的传输顺序，以免有些表对别的边的依赖性，先传输导致错误。
SyncNavigator数据库传输工具可以设置传输开始或者结束后运行指定脚本或者代码，能实现复杂的交互功能，让用户更灵活的实现自己需求。
支持分布式数据同步，可以把多个数据库数据传输过来进行整合，也可以同时执行多个传输进程。
功能特色
SyncNavigator数据库同步软件特点：
1.能够快速，持续，稳定的同步所需数据库数据。在来源数据库数据增加，修改或者删除后自动同步到目标数据库。
2.完整支持 Microsoft SQL Server。完整支持 Microsoft SQL Server 2000 2005 2008 2012 2014数据库类型。并能在不同数据库版本之间相互稳定高效同步数据，而不会出现问题。
3.完美支持 Mysql 4.1 以上版本。支持 Mysql 4.1 5.0 5.1 5.4 5.5 6.X。并能在不同数据库版本之间相互同步数据，也可以将SqlServer 数据库和Mysql数据库之间进行同步，支持同构，异构数据库同步。
4.只需要创建一个运行计划就能在指定时间自动进行数据库同步。轻松管理同步时间以及频率，可以按天，或者按周，实时同步等，轻松设置，一键无忧。
5.不编写SQL语句，不使用数据库管理工具。与同类产品相比所需数据库经验知识最少，傻瓜式的同步设置，大多数情况下只需要设置来源数据库地址，帐号密码，目标数据库地址，帐号密码，然后其他保持默认，点击开始同步，就能完美完成数据同步需求。
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了
因此最近使用了一些数据同步工具，记录下来：
离线导入导出
DataX
阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，定义好配置json文件执行脚本就可以了，非常适合离线数据，增量数据可以使用一些编码的方式实现，但是也仅仅针对insert数据比较有效，update数据就不适合。
github地址：https://github.com/alibaba/DataX
目前DataX支持的数据库
Sqoop
http://sqoop.apache.org/
Sqoop是针对大数据而生的，专注于Hadoop(Hive)与传统的数据库数据的传递，是Hadoop生态的一员。在数据库的支持的丰富性上不如DataX，但是如果你用hadoop，用sqoop是更好的选择，因为做Apache的顶级项目，他背后的支持远远比阿里一家公司靠谱的多
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Kettle
Kettle作为传统ETL工具，目前也都已经有了nosql数据库的支持，而且kettle还有图形界面可以用，使用起来简单多了。而且本来就是专门做ETL的，是Pentaho指定的ETL组件，对于数据清洗等处理数据的环节支持更好。但是数据效率一般，而且在生产环境也很少弄台windows机器，适合小项目，数据量比较小的同步。
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
实时同步
实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter
canal
https://github.com/alibaba/canal
canal是基于mysql的binlog进行数据同步的中间件。简单来说，Canal 会将自己伪装成 MySQL 从节点（Slave），并从主节点（Master）获取 Binlog，解析和贮存后供下游消费端使用。Canal 包含两个组成部分：服务端和客户端。服务端负责连接至不同的 MySQL 实例，并为每个实例维护一个事件消息队列；客户端则可以订阅这些队列中的数据变更事件，处理并存储到数据仓库中。
使用的话，安装好canal，配置好数据库参数，再编写一个客户端消费canal传过来的数据就可以了。如何使用官网写的挺清楚了，可以直接看官网。
otter
https://github.com/alibaba/otter
otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。
而且通过retl_buff表的监控，也可以实现一些全量数据的同步。
但是otter也有一些不好的地方，比如界面上的参数并不是所有的都有用，文档写的一般，不是很清晰。但是想想省了好多事，还是非常好的一款中间件。
详细参见官网，安装部署研究下问题不大。
---------------------
作者：frog4
来源：CSDN
原文：https://blog.csdn.net/frog4/article/details/79624664
版权声明：本文为博主原创文章，转载请附上博文链接！