记一次生产事故

前言:下次测试的时候我还是先做个镜像吧

博主刚到这家公司,项目是之前外包做的,就我一个JAVA软件工程师,服务器也是外包公司运维配置,使用的是docker swarm+consul+ rabbitMQ+mysql5.7,项目为ssm框架,碰巧没用过docker ,但是原理还是一样,在tomcat下部署项目

3月26号上午,我想将服务器的docker 端口号开放出来以便之后工作,因为之前两个礼拜的摸索基本上的东西我都已经掌握,就差如何将新增的功能发布到服务器之上,我想到了利用IDEA的docker工具连接远程服务器,再根据自己编写的dockerfiles生成镜像,每次下班前根据镜像部署一次即可,11点半时小程序和后端开时出现异常,返回502错误信息

 当时心理活动:我开放了个端口,下载了个net-tools,怎么就这样了,怎么办,心里慌得一比,服务器不是都应该开启防火墙的嘛?

firewalld-cmd 之前未启动被我开启,不对不对,就算是异常也应该是404,不应该是502

在这个过程中我仔细思考了一会:会不会是系统资源耗尽了,查看了top,8G内存还剩100来M,好家伙,我还以为是我的问题

什么原因会出下这种问题呢??

内存泄漏是当前首要排查对象,查看了阿里云日志,观察了当前进程,最终确定程序应该是崩溃了,

解决思路:

毕竟刚来不久,不敢乱修改原本之前已经定义好的脚本和各种配置,于是我将服务器重启了一次,关闭了firewalld-cmd

,发现内存溢出的问题以解决,,而且小程序可以访问,但是新的问题随之出现
 后台登录不上,打开F12,发现权限认证500,是不是程序已经崩了。。。反正我刚好把docker学会,就利用阿里云之前留下来的镜像文件pull到服务器之上,然后删除已经出错的容器,再次新建了一个,果然,程序已然跑通

心得:不慌,先看实际问题再具体分析,知道问题的源头才好解决

猜你喜欢

转载自blog.csdn.net/SCDN_CP/article/details/88842185