上午9点,数据库CPU达到100%,导致数据库服务超时,不可用
查询原因:个人用户权限表大概7000万数据,9点业务高发期,而且每一次操作都会验证权限。大量的并发被挂起,导致雪崩, 1、而平时不会出现的原因是有缓存,而且昨晚上游系统下发数据导致缓存全部被清空。
2、个人用户权限太大,一次查询可能会查过上万条数据
计划解决策略:
1、下发数据时,修改zk值,为防止白天加载热点数据到redis会影响白天业务,特于晚上定时任务:预加载用户权限热点数据,修改完毕后,修改zk值
2、分库存储(按用户分库),毕竟数据量太大