一次服务器宕机的排查记录

服务器宕机的排查记录

生产环境凌晨突然宕机,日志报错数据库链接超时
cpu、内存 磁盘 飙升

系统采用了springcloud 架构,通过阿里云的监控对比,发现仅仅一台服务器的宕机
分析日志发现,宕机的机器,凌晨接发大量请求,10分钟后宕机

初步怀疑负载均衡失效,进一步分析,流量集中在inner 接口,应该是FeignClient 请求
同时日志中出现sql 批量操作,进一步确定是Eurake 负载失效或者项目内部代码逻辑问题。

排查定时任务,确定逻辑,凌晨的定时任务在派发卡券的时候使用了多线程导致服务器宕机,

派发卡券是运营模块发起,定时任务通过HTTP直链触发,形成了一个节点正常,一个节点宕机的情况。

代码逻辑中使用了多线程,并且频繁操作数据库,导致了程序运行一段时间之后,整个运营模块宕机。

排查难点:宕机时,服务器日志丢失,MySQL数据库 链接不足导致服务器宕机,而导致链接不足的逻辑代码较难定位。
定时任务设计不合理,批量处理程序设计不合理。

生产环境中 往往没有直接登录服务器权限,一般思路从代码逻辑入手,毕竟MySQL Linux 或者spring cloud 都是经过时间检验的,服务器宕机更有可能是自己写的代码逻辑有问题。

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/keep_learn/article/details/82916540