Linux服务器出现：No space left on device的解决方法_运维_DRACOYU的博客-CSDN博客
https://blog.csdn.net/chanbo8205/article/details/85229453
Linux服务器出现：No space left on device的解决方法
报错信息：
2016-06-02 23:56:26 [com.thinkive.server.logger.TradeLogger]-[ERROR]
java.io.IOException: No space left on device
at java.io.FileOutputStream.writeBytes(Native Method)
at java.io.FileOutputStream.write(FileOutputStream.java:282)
at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:202)
at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:272)
at sun.nio.cs.StreamEncoder.implFlush(StreamEncoder.java:276)
at sun.nio.cs.StreamEncoder.flush(StreamEncoder.java:122)
at java.io.OutputStreamWriter.flush(OutputStreamWriter.java:212)
at com.thinkive.server.logger.TradeLogger$LoggerThread.flushLogFile(TradeLogger.java:404)
at com.thinkive.server.logger.TradeLogger$LoggerThread.run(TradeLogger.java:322)
服务器磁盘不足，df -h 一下，var下正常，还有剩余，发现问题没有，到后来显示大量的No space left on device:
/var明明还有很大的空间，为什么就提示“没有足够的空间”了呢?结果用到了df -i命令查看磁盘的节点发现如下图：
节点100%了.
这个时候用户可以先看下日志文件是否太多，如果是日志文件占用大量的inodes可以临时释放清理下过期的日志。
以下是检查inodes满的某一种情况，仅供参考：
查看原来是crontab里面定时执行的句子里没有加 > /dev/null 2>&1,系统中cron执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动所以就产生了很大零碎的文件：
cd /var/spool/clientmqueue/ 进入这个目录，删掉这些没用的文件，用ls 查看一下，结果是没有反应，文件太多，于是就用到了这个命令：ls |xargs rm -rf 可以分批的处理删除文件
操作到该步骤，可以根据较大目录的文件占用情况，临时转移部分文件到占用磁盘较小的目录中。
最近这两天登陆服务器，发现用 wget 下载文件的时候提示“No space left on device”，而且连使用 tab 键进行补全时也会提示该错误。
之前遇到过一次这种问题，是由于磁盘空间被占满了，导致无法创建新文件。正常情况下，删除一些文件来释放空间，即可解决该问题。
当我使用 df 命令查看分区情况时，结果如下：
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 29G 29G 0 100% /
udev 10M 0 10M 0% /dev
tmpfs 101M 232K 100M 1% /run
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 405M 0 405M 0% /run/shm
看到这里，我以为磁盘真的被 100% 占用了，于是就查看了各目录的占用情况：
# du -sh /*
8.8M /bin
30M /boot
0 /dev
5.3M /etc
24K /home
0 /initrd.img
205M /lib
4.0K /lib64
16K /lost+found
8.0K /media
4.0K /mnt
4.0K /opt
0 /proc
2.5G /root
232K /run
5.2M /sbin
8.0K /srv
0 /sys
4.0K /tmp
2.6G /usr
1.8G /var
0 /vmlinuz
很明显，总共的磁盘占用完全不到 10G，磁盘理论上并未被占满。
这种情况下，很可能是小文件过多，导致 inode 急剧增加，消耗完 inode 区域的空间。
如果真是如此，那么即使磁盘空间有剩余，但由于无法创建新的 inode 来存储文件的元信息，也就无法创建新文件。
因此，我用 df 命令进行验证：
# df -ih
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda1 1.9M 299K 1.6M 17% /
udev 123K 299 123K 1% /dev
tmpfs 126K 249 125K 1% /run
tmpfs 126K 4 126K 1% /run/lock
tmpfs 126K 2 126K 1% /run/shm
可以看到，inode 区域只被占用了一小部分，还有大量的空间未使用，所以也不是 inode 区域被占满的问题。
到了这里，我的内心是非常郁闷的。这个问题直接导致了Apache、MySql以及其它的一些服务均无法启动，服务器已经基本没法使用了，然而原因却扑朔迷离。
最后，服务器提供商告诉我另一种可能的情况，就是有些文件删除时还被其它进程占用，此时文件并未真正删除，只是标记为 deleted，只有进程结束后才会将文件真正从磁盘中清除。
于是我通过 lsop 命令查看了被进程占用中的文件：
# lsof | grep deleted
mysqld 1952 2982 mysql 5u REG 254,1 0 127 /tmp/ibzMEe4z (deleted)
mysqld 1952 2982 mysql 6u REG 254,1 0 146 /tmp/ibq6ZFge (deleted)
mysqld 1952 2982 mysql 10u REG 254,1 0 150 /tmp/ibyNHH8y (deleted)
apache2 2869 root 9u REG 254,1 0 168 /tmp/.ZendSem.2w14iv (deleted)
apache2 2869 root 10w REG 0,16 0 11077 /run/lock/apache2/rewrite-map.2869 (deleted)
...
python 3102 root 1w REG 254,1 22412342132 264070 /var/log/nohup.out (deleted)
终于找到了罪魁祸首，原来是在后台运行的 Python 脚本，源源不断地将输出保存到 /var/log/nohup.out 文件中，文件大小居然达到了20G+！
前阶段在后台运行脚本之后，就没再管过它。估计是我在 Python 运行过程中删掉了 nothup.out 文件，由于该文件被占用，所以只能先标记为 deleted，而未真正删除，最后导致磁盘爆满。
这次的教训提醒了我，不能将任务简单放到后台就放任不管，特别是使用 nohup 命令时，所有的输出都会被不断地添加到同一个文件中，如果该进程不会自己终止，就可能导致输出文件占满整个磁盘。
=============================================================================
=============================================================================
=============================================================================
简单了解Linux的inode与block - 苦逼运维 - 博客园
https://www.cnblogs.com/diantong/p/10504513.html
简单了解Linux的inode与block
Linux常见文件系统类型：ext3（CentOS5），ext4（CentOS6），xfs（CentOS7）
Windows常见文件系统类型：FAT32，NTFS
(1).inode的内容
1）inode包含文件的元信息，具体来说有以下内容：
文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、写、执行权限
文件的时间戳，共有三个：ctime指inode上次文件属性变动的时间，例如：chmod +x a.sh；mtime指文件内容上次变动的时间，例如：echo aa >> a.sh或vim a.sh；atime值文件上次打开的时间，例如：cat a.sh。
链接数，即有多少文件名指向这个inode
文件数据block的位置
2）我们可以用stat命令，查看某个文件的inode信息：
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
|
3）测试ctime，mtime和atime
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 |
|
由此可见，黑客是可以通过修改时间，再植入木马，防止被find找到。
4）inode的大小
Inode也会消耗硬盘空间，所以硬盘格式化时，操作系统自动将文件分成两个区域。一个是数据区，用于存放文件数据；另一个是inode区，用于存放inode所包含的信息。
每个inode节点的大小一般是128字节或256字节。Inode节点的总数在格式化时就给定，一般是1KB或2KB或4KB就设置一个inode。如果一块1GB的硬盘，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode区的大小就会达到128MB，占整个硬盘的12.8%。（所以block可以设置的大一点）
5）inode号
每个inode都有一个号码，操作系统用inode号来识别不同的文件。
Unix/Linux系统内部不是用文件名，而使用inode号来识别文件。对于系统来说，文件名只是iode号便于识别的别名。表面上用户是通过文件名打开文件，实际上系统内部分成三个步骤：首先，系统找到这个文件名对应的inode号；其次通过inode号获取inode信息；最后根据inode信息找到文件数据所在的block，读出数据。
可以使用’ls -i [filename]’快速查看文件的inode号：
| 1 2 |
|
在Unix/Liunx系统中，目录也是一种文件。目录文件的结构非常简单，即使一系列目录项的列表。每个目录项由所包含文件的文件名以及该文件名对应的inode号组成。
可以使用’ls -id [directory]’快速查看目录的inode号：
| 1 2 |
|
另外可以使用’df -i’查看每个磁盘分区的inode总数和已经使用的数量
| 1 2 3 4 5 6 7 8 9 10 11 12 |
|
注意：由于每个文件都必须有一个inode号，因此有可能发生inode已用光，但硬盘未存满的情况。这时就无法在硬盘上创建新的文件。
6）inode的特殊作用
有时文件名有特殊字符或乱码，无法正常修改或删除，可以通过inode号来进行操作。实例：
| 1 2 3 4 5 6 7 8 9 10 11 12 13 |
|
移动或重命名文件，只改变文件名，inode没影响。
使用vim修改文件内容后，inode会发生改变。实例：
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
|
我一开始还怀疑会不会是我字节没有写满一个block，但我用cat写了20416个字节，结果inode号还是没变。我估计echo追加和cat重写都不改变inode号。
(2).block的内容
block是真正存储数据的地方。block是文件系统中的最小存储单位，扇区是磁盘中的最小存储单位。
注意：Linux下叫block，Windows下叫簇。
1） Windows如何修改簇的大小
可以右键一个分区，点击格式化会出现如下窗口：
这里的分配单元大小就是设置簇的大小。
2） Block或簇的大小对系统的影响
簇或block调大时，节约了寻址时间，速度变快，但浪费空间；簇和block调小时，节约空间，但寻址时间变长，速度变慢。
说明：为什么簇或block调大会浪费空间？这是因为一个文件会占用多个簇或block来存放。当前一个簇或block放不下时，就会占用下一个簇或block，到最后如果产生不足以占用一个完整的簇或block时，仍然会占用一个完整的簇或block，就会浪费这个簇或block剩下的空间。
如果有一个2T的硬盘，可以前1.5T使用4K的簇或block，后0.5G使用64K的簇或block，这样可以改善机械硬盘越到最后速度越慢的问题。
3） Linux下查看block的大小以及修改方式
查看block的大小
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
|
注意：xfs_info只能用于xfs的文件系统，如果是ext4或ext3请使用tune2fs
修改block的大小，就需要用到mkfs.xfs格式化命令，需要格式化分区
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
注意：mkfs.xfs就是mkfs –t xfs的简写。
