Canal实现广告缓存数据同步

1、前言

本文章示例代码是在另一个文章案例的基础上进行扩展的，另一个文章链接：https://blog.csdn.net/pkxwyf/article/details/105363197

2、Canal概述

Canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

3、Mysql开启binlog模式

3.1.1、查看当前mysql是否开启binlog模式

SHOW VARIABLES LIKE '%log_bin%'

如果log_bin的值为OFF是未开启，为ON是已开启

3.1.2、修改/etc/my.cnf 需要开启binlog模式

修改完成之后，重启mysqld的服务。

3.1.3、登录MySQL创建账号用于测试使用

create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO
'canal'@'%';
FLUSH PRIVILEGES;

4、Canal服务端安装和配置

4.1、下载地址Canal

https://github.com/alibaba/canal/releases/tag/canal‐1.0.24

4.2、上传到linux系统中并解压缩到指定的目录 /usr/local/canal

4.3、修改 exmaple下的实例配置

vi conf/example/instance.properties

修改如图所示的几个参数

4.4、指定读取位置

进入MySql中执行下面语句查看binlog所在位置

如果file中binlog文件不为 mysql-bin.000001 可以重置MySQL

4.5、启动Canal服务

./bin/startup.sh

4.6、查看日志文件

cat /usr/local/canal/logs/canal/canal.log

这样就表示启动成功了

5、数据监控微服务

当用户执行数据库的操作的时候，binlog 日志会被canal捕获到，并解析出数据。我们就可以将解析出来的数据进行相应的逻辑处理。我们这里使用的一个开源的项目，它实现了springboot与canal的集成。比原生的canal更加优雅。开源项目下载地址：
https://github.com/chenqian56131/spring-boot-starter-canal

使用前需要将starter-canal安装到本地仓库。我们可以参照它提供的canal-test，进行代码实现。

5.1、微服务搭建

5.1.1、创建工程模块xxx_canal，pom引入依赖

<dependency>
    <groupId>com.xpand</groupId>
    <artifactId>starter‐canal</artifactId>
    <version>0.0.1‐SNAPSHOT</version>
</dependency>

5.1.2、创建包并创建启动类

@SpringBootApplication
@EnableCanalClient
public class CanalApplication {
    public static void main(String[] args) {
        SpringApplication.run(CanalApplication.class, args);
    }
}

5.1.3、编写application.yml文件

server:
  port: 18083
spring:
  application:
    name: canal
  redis: 
    host: 192.168.33.133
    port: 6379
eureka:
  client:
    service-url:
      defaultZone: http://127.0.0.1:7001/eureka
  instance:
    prefer-ip-address: true
# canal连接信息
canal:
  client:
    instances:
      example:
        host: 192.168.33.133
        port: 11111
        batchSize: 1000

5.1.4、创建监听类：监听MySQL数据库数据变化


/**
 * 监听MySQL数据库广告表数据的变化
 */
@CanalEventListener
public class ContentDataListener {
    /**
     * 自定义监听
     * @param eventType 事件类型：增删改事件
     * @param rowData 发生变更的一行数据
     */
    @ListenPoint(
            schema = "content",
            table = {"tb_content"})
    public void contentUpdate(CanalEntry.EventType eventType,
                         CanalEntry.RowData rowData) {
        System.err.println("广告数据发生变化");
        rowData.getBeforeColumnsList().forEach((c) ‐>
            System.out.println("更改前数据: " + c.getName() + " :: " +             c.getValue()));
        rowData.getAfterColumnsList().forEach((c) ‐>
        System.out.println("更改后数据: " + c.getName() + " :: " + c.getValue()));
    }
}

测试：启动数据监控微服务，修改content的tb_content表，观察控制台输出。

5.2、工具类

canal给我们提供了rowData.getBeforeColumnsList()和rowData.getAfterColumnsList(), 但有时我们更希望能得到一个map，这样我们就可以很方便的提取某个字段的值，编写工具类，实现列集合转换为 map

public class CanalUtils {
    /**
     * 列集合转换为 map
     * @param columnsList
     * @return
     */
    public static Map<String,String>
    convertToMap(List<CanalEntry.Column> columnsList ) {
        Map<String,String> map=new HashMap( );
        columnsList.forEach(c->map.put( c.getName(),c.getValue()));
        return map;
    }
}

修改监听类代码如下：

/**
 * 监听MySQL数据库广告表数据的变化
 */
@CanalEventListener
public class ContentDataListener {
    /**
     * 自定义监听
     * @param eventType 事件类型：增删改事件
     * @param rowData 发生变更的一行数据
     */
    @ListenPoint(
            schema = "content",
            table = {"tb_content"})
    public void contentUpdate(CanalEntry.EventType eventType,
                         CanalEntry.RowData rowData) {
        Map<String, String> beforeMap = CanalUtils.convertToMap(
        rowData.getBeforeColumnsList() ); //修改前数据
        System.out.println( "修改前数据"+JSON.toJSONString(beforeMap));
        Map<String, String> afterMap = CanalUtils.convertToMap(
        rowData.getAfterColumnsList()); //修改后数据
        System.out.println( "修改后数据"+JSON.toJSONString(afterMap));
    }
}

5.3、广告缓存更新

fkjaios_xkp

发布了24 篇原创文章 · 获赞 1 · 访问量 6392

私信关注