文章目录
前言
在处理Linux系统出现的各种故障时，故障的症状是最容易发现的，而导致这一故障的原因才是最终排除故障的关键。
熟悉Linux系统中常见的日志文件，了解一般故障的分析与解决办法，将有助于管理员快速定位故障点，“对症下药”，及时解决各种系统问题。
inode与block
崭新的操作系统的文件除了实际内容外，通常含有非常多的属性，例如Linux操作系统的文件权限（rwx）与文件属性（所有者，群组，时间参数等）。文件系统通常会将这两部分分别存放在inode和block中
元信息，inode和block概述
-
文件数据包括元信息与实际数据
文件存储在硬盘上，硬盘最小存储单元是“扇区”，每个扇区存储512字节
-
元信息
元信息是关于信息的信息，用于描述信息的结构、语义、用途和用法等，比如文件的创建者，文件的创建日期，文件的大小等
-
block（块）
系统读取硬盘信息，不会一个一个扇区读取。实际情况一下连续读取多个扇区，一次性读取多个扇区，叫做块（Block），这种多个扇区组成的“块”是文件存取的最小单位，最常见的4K，就是8个扇区组成的一个Block块，512字节*8=4096字节
-
inode（索引节点）
元信息的区域叫做inode节点也叫做‘索引号’也叫作i节点号，一个文件必须占用一个i节点，至少一个block。
inode的内容
inode包含文件的元信息
- inode包含很多的文件元信息，但不包括文件名，例如：
文件的字节数
文件拥有者的UserID
文件的GroupID
文件的读，写，执行权限
文件的时间戳
…
使用stat命令即可查看某个文件的inode信息
Linux系统文件三个主要的时间属性
- ctime（change time）
最后一次改变文件或目录（属性）的时间，例如执行chmod，chown等命令 - atime（access time）
最后一次访问文件或目录的时间 - mtime（modify time）
最后一次修改文件或目录（内容）的时间
目录文件的结构
inode不包括文件名，文件名是存放在目录当中的
Linux系统中一切皆文件，因此目录也是一种文件
目录文件的结构，每一行称为一个目录项
每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于用户来说，文件名指示inode号码便于识别的别称
inode的号码
- 用户在访问问件时候，表面上是用户通过文件名打开的，而实际系统内部的过程分成三步完成的
1、系统找到文件名的inode号码
2、通过inode号码，获取inode信息
3、根据inode信息，找到文件所在的block，并读取数据
文件名>对应的inode号码>inode信息>找到文件所在的block，读取数据
常见查看inode号码有这么几种方式
ls-ai命令：直接查看当面目录的文件及隐藏文件的所对应的inode信息
stat命令：通过查看文件inode信息而查看到inode号码
查看文件系统的inode数量信息（总数，已用，可用）
文件存储小结
inode的大小
inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分区成二个区域，
一个数据区、存储文件数据，一个是inode区，存放所有的inode信息。每个inode大小
一般为128字节或者256字节，通常情况下不需要关注单个inode的大小，而是需要重点关注
inode总数，inode的总数在格式化就给定了，执行df -i 命令就可以查看。
每个分区的对应inode总数和已经使用的inode数量。
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
df命令
df - 报告文件系统磁盘空间的使用情况
df -a：显示所有文件系统的磁盘使用情况，包括0块（block）的文件系统。
df -h：以容易理解的格式输出文件系统大小，例如124KB、345MB、46GB。
df -i：显示i节点信息，而不是磁盘块。
df -t：显示各指定类型的文件系统的磁盘空间使用情况。
df -x：列出不是某一指定类型文件系统的磁盘空间使用情况。
df -T：显示文件系统类型。
df 以512字节为单位
df –k 以1024字节为单位
inode的特殊作用
文件名包含特殊字符，可能无法正常删除。这时直接删除 inode，能够起到删除文件的作用；
移动文件或重命名文件，只是改变文件名，不影响 inode 号码；
打开一个文件以后，系统就以 inode 号码来识别这个文件，不再考虑文件名。
这种情况使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。
因为系统通过 inode 号码，识别运行中的文件，不通过文件名。更新的时候，
新版文件以同样的文件名，生成一个新的 inode，不会影响到运行中的文件。
等到下一次运行这个软件的 时候，文件名就自动指向新版文件，旧版文件的 inode 则被回收。
硬链接与软链接
-
在linux系统下的软件文件有2种
一种类似Windows的快捷方式功能的文件，可以快速连接到文件或者目录，称之为软连接
另外一种是通过inode连接产生新的文件名，二部是产生新的文件，称之为硬连接
硬链接
一般情况下，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。但是linux系统允许多个文件名指向同一个inode号码，这意味着，可以不同的文件名访问同样的内容，ln命令可以创建硬连接。
ln [选项] [源文件或目录] [目标文件或目录]
常用选项：
-b 为每个已存在的目标文件创建备份文件
-d 此选项允许“root”用户建立目录的硬链接
-f 强制创建链接，即使目标文件已经存在
-n 把指向目录的符号链接视为一个普通文件
-i 交互模式，若目标文件已经存在，则提示用户确认进行覆盖
-s 对源文件建立符号链接，而非硬链接
-v 详细信息模式，输出指令的详细执行过程
不能对目录做硬链接
运行此命令后，源文件和目标文件的inode号码相同，都指向同一个inode。
inode信息中的“链接数”此时就会增加1
当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名
但删除一个文件名，不会影响另一个文件名的访问
删除一个文件名，就会使得inode信息中的“链接数”减少1
软链接
软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件的文件名
例如：文件A和文件B的inode号码虽然不一样，但是文件A的内容是文件B的路径。
读取文件A时，系统会自动将访问者导向文件B
此时，文件A就称为文件B的“软链接（soft link）”或者“符号链接（symbolic link）”
这表示，文件A依赖于文件B而存在，如果删除了文件B ，打开文件A就会报错
这是软链接与硬链接的最大不同：文件A指向文件B的文件名，而不是文件B的inode号码，文件B的inode“链接数”不会因此产生变化。
ln -s 源文件或目录 目标文件或目录
软链接与硬链接总结
- 链接文件是为文件或目录建立链接文件
软链接与硬链接对比
删除原始文件后，软链接无法找到原始文件的文件名，所以会报错。硬链接与原始文件inode相同，所以不影响访问，仍旧可用。
删除一个文件，实际上并不清除inode节点和block的数据，只是在这个文件的父目录里面的block中，删除这个文件的名字
Linux是通过link的数量来控制文件的删除的，只有当一个文件不存在任何link的时候，这个文件才会被删除
恢复误删除的文件
实验：恢复XFS类型的文件
xfsdump命令格式
xfsdump -f 备份存放位置 要备份的路径或者设备文件
xfsdump备份级别（默认为0）
0：完全备份
1-9：增量备份
xfsdump常用选项：-f，-L，-M，-s
xfsrestore命令格式
xfsrestore -f 恢复文件的位置 存放恢复后文件的位置
xfsdump使用限制
只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份xfs文件系统
备份后的数据只能用xfsrestore解析
不能备份两个具有相同UUID的文件系统
实验过程：在CentOS 7中恢复xfs类型的数据
删除一个文件，实际上并不清除 inode 节点和 block 的数据，只是在这个文件的父目录 里面的 block 中，删除这个文件的名字。Linux 是通过 Link 的数量来控制文件删除的，只有 当一个文件不存在任何 Link 的时候，这个文件才会被删除。 在 Linux 系统运维工作中，经常会遇到因操作不慎、操作错误等导致文件数据丢失的情 况，尤其对于客户企业中一些新手。当然，这里所指的是彻底删除，即已经不能通过“回收 站”找回的情况，比如使用“rm -rf”来删除数据。针对 Linux 下的 EXT 文件系统，可用的恢复工具有 debugfs、ext3grep、extundelete 等。 其中 extundelete 是一个开源的 Linux 数据 恢复工具，支持 ext3、ext4 文件系统。
在数据被误删除后，第一时间要做的就是卸载被删除数据所在的分区，如果是根分区的 数据遭到误删，就需要将系统进入单用户模式，并且将根分区以只读模式挂载。这样做原因很简单，因为将文件删除后，仅仅是将文件的 inode 节点中的扇区指针清零，实际文件还存储在磁盘上，如果磁盘继续以读写模式挂载，这些已删除的文件的数据块就可能被操作系统重新分配出去，在这些数据库被新的数据覆盖后，这些数据就真的丢失了，恢复工具也回天无力。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险，以提高恢复数据成功的比例。
下面将介绍使用 extundelete 工具如何恢复误删除的文件。
- 编译安装 extundelete
在编译安装 extundelete 之前需要先安装两个依赖包 e2fsprogs-libs 和 e2fsprogs-devel， 这两个包在系统安装光盘的/Package 目录下就有，使用 rpm 或 yum 命令将其安装。 e2fsprogs-devel 安装依赖于 libcom_err-devel 包。 安装完依赖包之后，即可将提前上传的 extundelete 软件包解压、配置、编译、安装
yum -y install e2fsprogs-devel e2fsprogs-libs
yum -y install wget
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
yum -y install bzip2
tar xvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
cd /usr/local/extundelete/bin
ln -s /usr/local/extundelete/bin/* /usr/sbin/
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
虚拟机添加新硬盘，使用 fdisk 命令创建新分区，将其挂载到/data目录下，往该目录下新建一些文件或目录
fdisk -l
fdisk /dev/sdb
n
p
回车
回车
回车
p
w
mkfs.ext3 /dev/sdb1
mkdir /data
mount /dev/sdb1 /data
cd /data
echo a>a && echo a>b && echo a>c && echo a>d
ls
执行完命令‘extundelete /dev/sdb1”后输入”y“即可查看该文件系统的使用情况
使用"rm -rf a b"命令删除/tmp/下的 a 文件和 b 文件，当出现误操作时，立刻卸载该文 件系统，然后使用“extundelete /dev/sdb1 --restore-all"
恢复/dev/sdb1 文件系统下的所有内容。
[root@localhost data]# rm -rf a b ####删除a b 文件
[root@localhost data]# ls
c d lost+found
[root@localhost data]# cd ###切到家目录
[root@localhost ~]# umount /data/ ###卸载挂载
[root@localhost ~]# extundelete /dev/sdb1 --restore-all ###恢复删除的数据
NOTICE: Extended attributes are not restored.
Loading filesystem metadata ... 80 groups loaded.
Loading journal descriptors ... 19 descriptors loaded.
Searching for recoverable inodes in directory / ...
2 recoverable inodes found.
Looking through the directory structure for deleted files ...
0 recoverable inodes still lost.
[root@localhost ~]# ll
总用量 24
-rw-r--r-- 1 root root 4379 6月 22 10:47 \
-rw-r--r-- 1 root root 7 6月 23 2020 1@systemctl
-rw-------. 1 root root 1420 3月 17 08:13 anaconda-ks.cfg
-rw-r--r-- 1 root root 117 6月 23 2020 passwd.lst
drwxr-xr-x 2 root root 24 6月 23 00:40 RECOVERED_FILES
---------- 1 root root 1538 6月 23 2020 shadow.txt
[root@localhost ~]# cd RECOVERED_FILES/ ###进入恢复的目录
[root@localhost RECOVERED_FILES]# ll ###查看恢复的文件
总用量 8
-rw-r--r-- 1 root root 2 6月 23 00:40 a
-rw-r--r-- 1 root root 2 6月 23 00:40 b
xfs 类型文件备份和恢复
xtundelete 工具仅可以恢复 EXT 类型的文件，无法恢复 CentOS 7 系统默认采用 xfs 类型的文件。针对 xfs 文件系统目前也没有比较成熟的文件恢复工具，所以建议提前做好数 据备份，以避免数据丢失。xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。若系统中未安装 xfsdump与xfsrestore工具，可以通过yum install -y xfsdump命令安装。xfsdump 按照inode 顺序备份一个 xfs 文件系统。xfsdump 的备份级别有两种：0 表示完全备份；1-9 表示增量 备份。xfsdump 的备份级别默认为 0。
xfsdump 的命令格式为：xfsdump -f 备份存放位置 要备份路径或设备文件。常用的备份参数包括以下几种：
-f：指定备份文件目录；
-L：指定标签 session label；
-M：指定设备标签 media label；
-s：备份单个文件，-s 后面不能直接跟路径
下面通过一个案例来备份恢复 xfs 类型的文件。首先添加一款新硬盘并格式化为 xfs 类 型的文件系统，然后挂在到/date 目录下
[root@localhost ~]# fdisk /dev/sdb
欢迎使用 fdisk (util-linux 2.23.2)。
更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。
命令(输入 m 获取帮助)：
命令(输入 m 获取帮助)：n
Partition type:
p primary (1 primary, 0 extended, 3 free)
e extended
Select (default p): p
分区号 (2-4，默认 2)：2
No free sectors available
命令(输入 m 获取帮助)：d
已选择分区 1
分区 1 已删除
命令(输入 m 获取帮助)：p
磁盘 /dev/sdb：21.5 GB, 21474836480 字节，41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x212fc454
设备 Boot Start End Blocks Id System
命令(输入 m 获取帮助)：n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
分区号 (1-4，默认 1)：
起始 扇区 (2048-41943039，默认为 2048)：
将使用默认值 2048
Last 扇区, +扇区 or +size{K,M,G} (2048-41943039，默认为 41943039)：
将使用默认值 41943039
分区 1 已设置为 Linux 类型，大小设为 20 GiB
命令(输入 m 获取帮助)：w
The partition table has been altered!
Calling ioctl() to re-read partition table.
正在同步磁盘。
[root@localhost ~]# mkfs.xfs -f /dev/sdb1
meta-data=/dev/sdb1 isize=512 agcount=4, agsize=1310656 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=5242624, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mount /dev/sdb1 /data/
[root@localhost /]# cd /data/
[root@localhost data]# cp /etc/passwd ./
[root@localhost data]# mkdir test
[root@localhost data]# touch test/a
[root@localhost data]# yum -y install tree
[root@localhost data]# tree /data
使用xfsdump 命令备份整个分区
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1
xfsdump -I
删除之前创建的内容，模拟数据丢失
[root@localhost ~]# cd /data/
[root@localhost data]# ls
passwd test
[root@localhost data]# rm -rf *
[root@localhost data]# ls
[root@localhost ~]# xfsrestore -f /opt/dump_sdb1 /data/
[root@localhost ~]# ls /date/
使用 xfsdump 时，需要注意以下的几个限制
1、xfsdump 不支持没有挂载的文件系统备份，所以只能备份已挂载的；
2、xfsdump 必须使用 root 的权限才能操作(涉及文件系统的关系)；
3、xfsdump 只能备份 XFS 文件系统；
4、xfsdump 备份下来的数据(档案或储存媒体)只能让 xfsrestore 解析；
5、xfsdump 是透过文件系统的 UUID 来分辨各个备份档的，因此不能备份两个具有相同 UUID 的文件系统。
日志文件分析
分析日志文 件的目的在于通过浏览日志查找关键信息、对系统服务进行调试，以及判断发生故障的原因 等。
本小节主要介绍三类日志文件的基本格式和分析方法。
对于大多数文本格式的日志文件（如内核及系统日志、大多数的程序日志），只要使用 tail、more、less、cat
等文本处理工具就可以查看日志内容。而对于一些二进制格式的日志 文件（如用户日志），则需要使用特定的查询命令
内核及系统日志
内核及系统日志功能主要由默认安装的 rsyslog-7.4.7-16.el7.x86_64.rpm 软件包提供。
rsyslog 服务所使用的配置文件为/etc/rsyslog.conf。通过查看/etc/rsyslog.conf 文件中的内 容，
可以了解到系统默认的日志设置，具体操作如下：
[root@localhost ~]# grep -v "^$" /etc/rsyslog.conf ####过滤掉空行
从配置文件/etc/rsyslog.conf 中可以看到，受 rsyslogd 服务管理的日志文件都是 Linux 操作系统中主要的日志文件，
它们记录了 Linux 操作系统中内核、用户认证、电子邮件、计 划任务等基本的系统消息。在 Linux 内核中，
根据日志消息的重要程度不同，将其分为不同 的优先级别（数字等级越小，优先级越高，消息越重要）
| 级别 | 解释 |
|---|---|
| 0 EMERG（紧急） | 会导致主机系统不可用的情况 |
| 1 ALERT（警告） | 必须马上采取措施解决的问题 |
| 2 CRIT（严重） | 必须马上采取措施解决的问题 |
| 3 ERR（错误） | 运行出现错误 |
| 4 WARNING（提醒） | 可能影响系统功能，需要提醒用户的重要事件 |
| 5 NOTICE（注意） | 不会影响正常功能，但是需要注意的事件 |
| 6 INFO（信息） | 一般信息 |
| 7 DEBUG（调试） | 程序或系统调试信息等 |
内核及大多数系统消息被记录到公共日志文件/var/log/messages 中，而其他一些程序 消息被记录到各自独立的日志文件中，
此外日志消息还能够记录到特定的存储设备中，或者 直接发送给指定用户。查看/var/log/messages 文件的内容如下
more /var/log/messages
对于 rsyslog 服务统一管理的大部分日志文件，使用的日志记录格式基本上是相同的。
以公共日志/var/log/messages 文件的记录格式为例，其中每一行表示一条日志消息，每 一条消息均包括以下四个字段。
时间标签：消息发出的日期和时间。
主机名：生成消息的计算机的名称。
子系统名称：发出消息的应用程序的名称。
消息：消息的具体内容。
在有些情况下，可以设置 rsyslog，使其在把日志信息记录到文件的同时将日志信息发 送到打印机进行打印，
这样无论网络入侵者怎样修改日志都不能清除入侵的痕迹。rsyslog 日志服务是一个常会被攻击的显著目标，
破坏了它将使管理员难以发现入侵及入侵的痕迹， 因此要特别注意监控其守护进程及配置文件
用户日志
在 wtmp、btmp、lastlog 等日志文件中，保存了系统用户登录、退出等相关的事件消息。 但是这些文件都是二进制的数据文件，不能直接使用 tail、less 等文本查看工具进行浏览， 需要使用 who、w、users、last 和 lastb 等用户查询命令来获取日志信息
查询当前登录的用户情况——users、who、w 命令
users 命令只是简单地输出当前登录的用户名称，每个显示的用户名对应一个登录会话。
如果一个用户有不止一个登录会话，那他的用户名将显示与其相同的次数。user 命令的具 体操作如下：
[root@localhost ~]# users ###打开了一个终端
root
who 命令用于报告当前登录到系统中的每个用户的信息。使用该命令，系统管理员可 以查看当前系统存在哪些不合法用户，
从而对其进行审计和处理。who 的默认输出包括用 户名、终端类型、登录日期及远程主机。
who 命令的具体操作如下：
[root@localhost ~]# who
root pts/0 2020-06-23 00:34 (20.0.0.1)
[root@localhost ~]# w
01:16:49 up 45 min, 1 user, load average: 0.00, 0.01, 0.05
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/0 20.0.0.1 00:34 1.00s 0.22s 0.00s w
[root@localhost log]# w ####出现这个问题，远程终端最大化
w: 66 column window is too narrow
查询用户登录的历史记录——last、lastb 命令 last 命令用于查询成功登录到系统的用户记录，
最近的登录情况将显示在最前面。通过 last 命令可以及时掌握 Linux 主机的登录情况，
若发现未经授权的用户登录过，则表示当前 主机可能已被入侵。last 命令的具体操作如下
[root@localhost ~]# last
lastb 命令用于查询登录失败的用户记录，如登录的用户名错误、密码不正确等情况都 将记录在案。
登录失败的情况属于安全事件，因为这表示可能有人在尝试猜解你的密码。除 了使用 lastb 命令查看以外，
也可以直接从安全日志文件/var/log/secure 中获得相关信息。
[root@localhost ~]# lastb
[root@localhost ~]# tail /var/log/secure
程序日志 在 Linux 操作系统中，还有相当一部分应用程序没有使用 rsyslog 服务来管理日志，而是由程序自己维护日志记录。例如，httpd 网站服务程序使用两个日志文件 access_log 和 error_log 分别记录客户访问事件和错误事件。不同应用程序的日志记录格式差别较大，且 没有严格使用统一的格式，这里不再详细介绍。 总的来说，作为一名合格的系统管理人员，应该提高警惕，随时注意各种可疑状况，定 期并随机检查各种系统日志文件，包括一般信息日志、网络连接日志、文件传输日志及用户登录日志记录等。在检查这些日志时，要注意是否有不合常理的时间或操作记录。例如，出 现以下现象就应多加注意。
●用户在非常规的时间登录，或者用户登录系统的 IP 地址和以往的不一样。
●用户登录失败的日志记录，尤其是那些一再连续尝试进入失败的日志记录。
●非法使用或不正当使用超级用户权限。
●无故或者非法重新启动各项网络服务的记录。
●不正常的日志记录，如日志残缺不全，或者是诸如 wtmp 这样的日志文件无故缺少 了中间的记录文件。
另外，需要提醒管理人员注意的是，日志并不是完全可靠的，高明的黑客在入侵系统后 经常会打扫现场。所以管理人员需要综合运用以上的系统命令，全面、综合地进行审查和检 测，切忌断章取义，否则将可能做出错误的判断。