【磁盘空间100%】记一次生产问题排查

1、收到告警,/apps目录下磁盘空间使用率高于99%

2、登陆服务器,使用df -h查看各目录挂载点以及磁盘空间使用率

3、确认apps下使用率确实超过99%,逐步排查

4、查看apps下各目录所占的空间大小,du -sh * /app,这个命令会比较慢,因为apps的空间太大,有500G左右,统计apps下所有目录的大小,速度会很慢,这里可以先去排查各项目文件的大小,du -sh * /app/项目目录,可以看到项目文件夹下各目录的大小占比,然后逐步进去各个目录去看

5、排查筛选下,各历史日志磁盘空间占比较大,清理一部分历史日志(按月份模糊匹配):

rm -r xxx2022_01*、

rm -r xxx2022_02*

rm -r xxx2022_03*

…………

清理日志后,磁盘空间使用率降低到70%

6、告警解除
关于文件查找的命令详解,可以查看我的另一篇文章:Linux大文件查找的几种方法


总结
1、告警系统应设立更完善的巡检机制,在磁盘空间使用率到达70%、80%时就予以报警,让运维人员及时的去排查清理大文件、使用率低文件。
2、对于日志文件,应定时清理脚本,每次清理三个月以前的日志。如当前时间为11月,就清理小于8月份的日志文件,减少大日志文件的堆积。


猜你喜欢

转载自blog.csdn.net/A_captain_608/article/details/127841979