开源组件-otter-数据库同步

1下载manager.deployer-4.2.15和node.deployer-4.2.15并解压。


2初始化otter库。
通过github-otter的quick start文档[3]来获取初始化otter库的mysql脚本。

3配置otter manager。
主要配置ottermanager的访问ip端口、连接的数据库信息、zookeeper地址。

4启动otter并查看启动日志log/manager.log,the manager server is running now!
启动成功后访问http://10.5.114.107:1001/,即可看到otter的管理页面,默认用户名和密码admin/admin。

5完成manager安装后,需要在manager页面为node定义配置信息。
5.1添加zookeeper配置

5.2添加node节点配置

 

说明:
机器名称:可以随意定义,方便自己记忆即可
机器ip:对应node节点将要部署的机器ip,如果有多ip时,可选择其中一个ip进行暴露. (此ip是整个集群通讯的入口,实际情况千万别使用127.0.0.1,否则多个机器的node节点会无法识别)
机器端口:对应node节点将要部署时启动的数据通讯端口,建议值:2088。

5.3配置node
5.3.1将nodeid,输入到文件nid中,node.deployer-4.2.15/conf/nid。
5.3.2配置node和manager的通讯端口,在otter manager中有配置。

5.3.3启动node节点,并查看启动日志node\node.log。
日志显示:the otter server is running now!,则启动成功。

5.4通过otter manager查看node节点的启动情况。

 

5.5搭建一个数据库同步任务:
源数据库ip为:10.5.114.107(本机地址,开启binlog日志,并且binlog格式为row)
目标数据库ip为:172.31.12.102
数据同步精确到一张表进行测试,测试的表名为blogdb.ts_blog。
配置完成后,手动在源库插入数据,然后快速在目标库进行查看数据,验证数据是否同步成功。
Otter QuickStart配置一个任务
操作步骤:
5.5.1添加数据库
a.源库 jdbc:mysql://10.5.114.107:3306/blogdb
b.目标库jdbc:mysql://172.31.12.102:23306/blogdb


5.5.2添加canal(otter依赖canal来读取数据库的binlog日志,所以需要根据填写的配置参数来启动一个canal实例)
a.提供数据库ip信息

5.5.3添加同步表信息
a.源数据表 blogdb.ts_blog


b.目标数据表 blogdb.ts_blog


5.5.4添加channel

5.5.5添加pipeline

a.选择node节点
b.选择canal

5.5.6添加同步映射规则
a.定义源表和目标表的同步关系

5.5.7启动
Channel管理,启用这个channel,开启同步任务。


5.5.8修改测试
5.8.1在源库-10.5.114.107:3306/blogdb上面执行updatesql语句
update ts_blog set title ='同步服务开启' where id=3;
update ts_blog set title ='开启服务' where id=3;
查看目标库-172.31.12.102:23306/blogdb上面的ts_blog表:

可以看到数据已经通过otter同步到目标库里面。
5.8.2查看otter的监控页面,可以看到updatecount是2,就是执行同步了2个更新操作。

5.8.3查看同步数据的吞吐量

github上面的wiki很完善:
[1]https://github.com/alibaba/otter
[2]https://github.com/alibaba/otter/wiki
[3]https://github.com/alibaba/otter/wiki/QuickStart
[4]https://github.com/alibaba/otter/wiki/Manager_Quickstart
[5]https://github.com/alibaba/otter/wiki/Node_Quickstart
[6]https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql

猜你喜欢

转载自www.cnblogs.com/dhsunny/p/9075318.html