线上Mysql主从同步延迟排查解决

一、引言

        线上这几天早上都有业务操作完之后查不到数据的问题,一开始还以为是校验调用了其他单据位置啥的校验,后来拿着sql到主库和从库一查,从库没有数据,延迟了一个多小时。

二、排查

        线上使用的是Mysql5.7,半同步模式,跟dba沟通的时候,一开始还以为同步模式是这样,然后备库每天凌晨的物理备份需要四个小时,当主库有ddl的时候,备库卡住了,系统读从库没有读到数据。

        这里产生了几个疑问:①备库拿来做高可用怎么会只有每天凌晨备份一次,不应该是实时同步吗?

        ②主库有ddl,既然还能响应系统写入,说明binlog数据还在更新,从库通过binlog进行同步,为什么没有数据?

         然后再聊了一下,实际的架构是下面这样:

         主库2作为高可用的准备,实时同步主库,在主库宕机的时候会成为主库,平时在凌晨还会生成物理备份文件,用于数据有问题时恢复到前一天。

        虽然开启了log_slave_update,从库也会记录binlog,可以做级联同步,但是实际上延迟会比较大,dba还是设置都拉取主库 。从库的binlog可以给数据仓库、Flink之类的工具进行同步。

        主库2也作为读的一部分,实际延时的原因是:系统读数据时,读的域名漂移到了主库2,主库2在做物理备份,当备份卡住的时候,数据更新被阻塞。

三、解决

        解决方式有多种:

        1、将主库2排除作为读查询,这个暂时不打算,后期如果还有问题在考虑,毕竟万一三个从库都挂了呢?

        2、设置主库2进行物理备份的阻塞时间,超过一定时间的阻塞就停止此次备份,过一会从头开始,这个做法dba觉得更好,博主认为是有隐患的,容易导致备份的不断循环。

        3、结合物理备份与LVM逻辑备份,物理备份一周备份一次就行,每天使用LVM逻辑备份,这也是博主看的《高性能Mysql》推荐的做法,结合2基本不会有问题。但是这需要运维开发备份管理自动化,dba感觉没必要。

四、总结

        这里涉及到Mysql同步、备份相关的基础知识,博主懒得写,有兴趣的同学可以看看《高性能Mysql》

        不同的架构产生的问题,对应的优化解决方案不同,有兴趣可以互相交流

猜你喜欢

转载自blog.csdn.net/m0_69270256/article/details/126887465
今日推荐