记一次MySQL流量问题的排查之旅

导读

作者:知数堂学员-邓志航;MySQL DBA,天生的MySQL爱好者,热衷于为他人解决问题,善于总结和分享。对数据平台构建和排查疑难问题有非常浓厚的兴趣

一、简介

记一次mysql流量问题的排查之旅

二、问题描述

在每天的业务高峰期间,都会出现流量被打满的情况,严重影响了业务的正常运行。

三、收集数据

1、通过监控图进行定位,发现是出口流量打满;

2、通过iftop进行定位,发现流量来源包括三方面:

  • 从库的binlog拉取

  • canal的binlog拉取

  • 多个应用服务的数据查询

3、查看binlog的生成量,发现binlog的生成量非常频繁,大概1分钟1个;

四、解决思路

1、首先尝试将canal的binlog不抽取主库,只抽取从库,然后进行观察,发现有效果,但是并不明显;

2、然后尝试建立缓存,将非必要的mysql查询走缓存,减少查询流量;

3、根据binlog进行分析,获取以下信息;

表:1 热表名称 2 热表的操作 发现更新和插入很频繁单条insert内容我们根据以上信息发现热表的insert和update操作都有大字段参与,经过与研发沟通了解到,是将类似json类型的数据存储到了mysql表中,造成了binlog频繁生成和切换,定位到了最主要的问题。

五、解决方法

1、减少binlog生成量(去掉大字段,减少事务操作量),减少同步binlog的流量;

2、建立缓存,减少查询的流量。


由我主讲的知数堂「MySQL优化课」第17期已发车,我们的课程从第15期就升级成MySQL 8.0版本了,现在上车刚刚好,一起开启MySQL 8.0的修行之旅吧。

扫码入群了解「MySQL优化」课吧,有助教妹子在等着哟


另外,我在腾讯课堂的短课程《MySQL性能优化》已开课,本课程讲解读几个MySQL性能优化的核心要素:合理利用索引,降低锁影响,提高事务并发度

下面是报名小程序码

点“在看”给我一朵小黄花

发布了254 篇原创文章 · 获赞 91 · 访问量 68万+

猜你喜欢

转载自blog.csdn.net/n88Lpo/article/details/104934996