Linux磁盘空间100% 查找并删除大文件
发现问题
- 如果是数据库，在客户端操作(比如
navicat)数据库的时候，会弹窗报错No space left on device，java应用也会在日志里报这个错； - 如果是
spring-boot spring-cloud，eureka状态会显示DOWN； - 其他应用程序应该也会出现不同的
down，比如连不上、响应速度非常慢等等。
问题验证
直接使用df命令查看磁盘占用情况：
df -h
#output>>>>>>>>>>>>>>>>
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_192-lv_root 50G 44G 3.4G 100% /
#output>>>>>>>>>>>>>>>>发现是真的，解决办法有两种：
- 扩容，可以参考这里：Linux 磁盘扩容
- 查找大文件，确认是什么原因导致磁盘被占满，要么更改一些策略，比如
kafka日志清理策略、CDH集群健康日志清理策略等，要么删除大文件。
这里记录查找并删除大文件。
查找大文件
使用du和df命令定位大文件：
# 先确定是哪个文件夹占用较多
# 如果文件较多命令执行可能很慢，在知道大概位置的情况下不建议直接对根目录操作
# du的--max-depth=1表示只展示第一个层级的目录和文件
# sort的-h选项和du的-h选项一个意思，-r表示倒叙，默认升序
du -h / --max-depth=1 | sort -hr | head -n 10
#output>>>>>>>>>>>>>>>>>>>>>>>>>>
50G /
28G /var
6.0G /dfs
4.0G /opt
3.0G /root
2.3G /usr
148M /lib
39M /log
30M /etc
29M /boot
#output>>>>>>>>>>>>>>>>>>>>>>>>>>
# 定位到/var目录占用超过50%(磁盘总量50G)
# 继续往下层目录找
du -h /var --max-depth=1 | sort -hr | head -n 10
#output>>>>>>>>>>>>>>>>>>>>>>>>>>
28G /var
24G /var/lib
3.8G /var/log
371M /var/cache
...
#output>>>>>>>>>>>>>>>>>>>>>>>>>>
# 继续/var/lib
du -h /var/lib --max-depth=1 | sort -hr | head -n 10
#output>>>>>>>>>>>>>>>>>>>>>>>>>>
24G /var/lib
10G /var/lib/mongo
8.4G /var/lib/cloudera-service-monitor
4.5G /var/lib/cloudera-host-monitor
319M /var/lib/mysql
...
#output>>>>>>>>>>>>>>>>>>>>>>>>>>
# 最后发现是mongo 数据量太多以及cdh集群健康数据太多
# 可以设置mongo journal使用smallfile，否则文件到达1G并且文件所记载的写操作都被使用过了才会删除
# cdh日志默认在文件达到10G的时候才会回滚，这里也可以做文章删除大文件
假设找到了对应的文件夹或文件并且可以删除，可以直接使用rm删除，也可以按照时间删除，比如一些日志文件，需要删除靠前的日志，较新的日志暂时还不能删除。
按文件大小删除
比如需要删除超过500M的文件，而不是删除整个文件夹：
# 建一个临时文件夹做测试
cd /tmp
mkdir test
cd test
# 建几个大文件试试
# seek表示跳过文件中指定大小的部分，实际上并没有写入任何数据
# 生成1000G的文件
dd if=/dev/zero of=test-big1 bs=1G count=0 seek=1000
# 生成1000M的文件
dd if=/dev/zero of=test-big2 bs=1M count=0 seek=1000
#查找 -size参数值中+表示> -表示< 不写表示等于
find /tmp/test -type f -size +200M
#output>>>>>>>>>>>>>>>
/tmp/test/test-big2
/tmp/test/test-big1
#output>>>>>>>>>>>>>>>
find /tmp/test -type f -size +2000M
#output>>>>>>>>>>>>>>>
/tmp/test/test-big1
#output>>>>>>>>>>>>>>>
find /tmp/test -type f -size -2000M
#output>>>>>>>>>>>>>>>
/tmp/test/test-big2
#output>>>>>>>>>>>>>>>
# 删除
# {} \;不能丢
find /tmp/test -type f -size +2000M -exec rm -rf {} \;
ls
#output>>>>>>>>>>>>>>>
test-big2
#output>>>>>>>>>>>>>>>按时间和名称删除
# 删除修改时间距今超过10天的以.gz结尾的文件
# -mtime参数值中 0表示修改时间在24小时内 +x表示修改时间距今超过x天 -x表示距今少于x天 不写正负号表示等于
find tmp/test/* -mtime +10 -name "*.gz" -exec rm -rf {} \;