记录一次MySQL数据库CPU负载异常高的问题

1、起因

某日下午18:40开始,接收到滕讯云短信报警,显示数据库CPU使用率已超过100%,同时慢查询日志的条数有1500条左右。

正常情况下:CPU使用率为30%-40%之间,慢查询日志条数为0.

2、查询原因

因接收短信时,正好在回家的路上,无法处理,所以只能到家再处理。

在路上的时候,接收了几次恢复短信和再次异常短信。说明问题是一时有,一时恢复。

到家后,登录腾讯云数据库控制台,查询监控,发现CPU使用率确实为145%,且持续时间是20分钟。

18:40-19:00

19:20-19:40

然后,我登录腾讯云的phpMyAdmin控制台,想尝试看下有哪些查询正在发生。于是执行了show processlist命令,不巧的是,我执行命令的时候,高峰期已过,看不到任何查询。

于是,我下载了18:00-19:00之间的慢查询日志文件,想从中找到问题。下载之后,发现第一条慢查询开始的时间正是18:41分钟。且查看整个文件,发现都是同一条SQL语句,查询的是同一张表,且uid始终是同一个。

由于我对于业务不是很熟悉,于是我将这些SQL语句截图发给了开发人员。开发人员在看到SQL语句后,找到了相应的代码位置,并告诉了我,引发该SQL查询的原因是请求了某个地址,/account/...。

然后我下载了负载均衡的访问日志,只下载了18:00-19:00时间段的。我根据开发人员提供的URI,查询日志,发现真有记录。

然后,我尝试过滤该日志,以确定访问地址。我首先过滤整个日志,以统计/account/...出现的数量。发现数量为7900条。为了得知这7900条是否为18:00-19:00出现的,于是我单独过滤了日志中带"18:4"字符串的数量以及"19:5"字符串的数量。发现两者加起来的数量为7600条。说明这7900条请求确实是从18:40-19:00这个时间段开始发起的。

且很明显的是,所有请求来自同一个IP地址。原因很明显了,就是某个白痴在发起异常请求。

3、处理办法

首先在负载均衡的防火墙上限制了该IP的访问。然后开发人员也加上了CSRF。

猜你喜欢

转载自www.cnblogs.com/t-road/p/11258742.html