Canal数据堆积

记录一下canal的问题。数据同步一直使用阿里开源的canal,最近使用过程中遇到一些问题,在这里记录一下。

原因

我们使用canal监听MySQL,然后通过client获取发送到mq(自定义格式)。最近数据组的同事批量更新了一次数据,大概800多万,导致了client发生oom,消费不了。

解决方案

修改server端的filter,将监听的表去掉,这样client就不会再获取到这张表的数据了,避免client大量获取server端的数据。(其实根本问题在于client写的比较粗糙,目前这种方法在不修改源码的基础上能很好的解决目前的问题,后续再对client进行调整优化)

我们自己做了一些自定义的管理,可以实时修改instance.properties这个文件。而且canal server开启了auto scan之后会自动扫描配置更改自动重启。

发布了298 篇原创文章 · 获赞 107 · 访问量 14万+

猜你喜欢

转载自blog.csdn.net/ywl470812087/article/details/104874969