滥用生产环境引发的故障

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/michael51/article/details/88685801

故障现象

监控发现某个时段内，某些应用突然变慢，内部网络访问延迟非常厉害。

原因分析

检查发现，该时段内网卡流量也下降，但是没有找到原因。过了一阵子才知道，原来有工程师在线上生产环境进行性能压力测试，占用了大部分交换机带宽。

经验教训

1. 访问线上生产环境要规范，不小心就会导致大事故。
2. 网站数据库有专门的DBA维护，如果发现数据库存在错误记录，需要进行数据订正，必须走数据订正流程，申请DBA协助。于是就有工程师为避免麻烦，直接写一段数据库更新操作的代码，悄悄放到生产环境应用服务器上执行，神不知鬼不觉地订正了数据。但是如果不小心写错了SQL，后果可想而知。