一起深入理解Linux文件系统与日志文件

block与inode

inode和block概述

• 文件数据包含元信息与实际数据，元信息存储inode，实际数据存储在block
• 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
• inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件，因此目录也是一种文件。
• 每个inode都有一个号码，操作系统用inode号码来认别不同的文件。Linux系统内部不使用文件名，而使用inode号码来认别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
• 所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码。通过inode号码，获取inode信息，根据inode信息，看该用户是否具有访问这个文件的权限;如果有，就指向相对应的数据block，并读取数据
• block（块）
  • 连续的八个扇区组成一个block（4k）
  • 是文件存取的最小单位
    操作系统在读取硬盘时，是一次性连续读取多个扇区，即一个块一个块的读取
• inode（索引节点）
  • 中文译名为“索引节点”，也称“i节点”
  • 用于存储文件元信息

inode的内容

• inode包含文件的元信息
  • 文件的字节数
  • 文件拥有者的User ID
  • 文件的Group ID
  • 文件的读、写、执行权限
  • 文件的时间戳
  • 但不包含文件名
• 用stat命令可以查看某个文件的inode信息
  例如：stat qz.txt
• Linux系统文件三个主要的时间属性
  • ctime(change time)
    最后一次改变文件或目录（属性）的时间
  • atime(access time)
    最后一次访问文件或目录的时间
  • mtime(modify time)
    最后一次修改文件或目录（内容）的时间
• 每个indoe都有一个号码，操作系统用inode号码来识别不同的文件
• Linux系统内部不使用文件名，而使用Indoe号码来识别文件
• 对于用户，文件名只是indoe号码便于识别的别称
• 目录也是一种文件

inode的号码

• 用户通过文件名打开文件时，系统内部的过程
  • 系统先找到这个文件名对应的inode号码
  • 通过indoe号码，获取inode信息
  • 根据inode信息，找到文件数据所在的block，读出数据
• 查看inode号码的方法
  • ls -i（查看文件名对应的inode号码）
    例如：ls -i qz.txt
  • stat（查看文件inode信息中的inode号码）
    例如：stat qz.txt

inode的大小

• inode也会消耗硬盘空间，每个inode的大小一般为128字节或256字节
• 格式化文件系统时会确定inode的总数
• 格式化的时候，操作系统会自动将硬盘分成两个区。一个是数据区，存放文件数据；另一个是inode区，存放inode所包含的信息
• df -i（可以查看每个硬盘分区的inode总数和已经使用的数量）

inode的特殊作用

• 由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象
  1.当文件名包含特殊字符，可能无法正常删除文件，这时直接删除inode，能够起到删除文件的作用
  2.移动或重命名文件时，只改变文件名，不影响inode号码
  3.打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
  4.文件数据被修改后，会生成一个新的inode号码
• 使用find命令可以删除inode号
  find ./ -inum 52201242 -exec rm -i {} ;
  find ./ - inum 55156844 -delete

inode节点耗尽故障处理

fdisk /dev/sdb
使用fdisk创建分区/dev/sdb1，因为实验用，所以分区大小30M即可
mkfs.ext4 /dev/sdb1
格式化(使用ext4文件类型，因为更准确)
mkdir /test
创建目录
mount /dev/sdb1 /mnt
挂载
df -i
查看
for ((i=1; i<=7680; i++));do touch /test/file$i;done
使用for命令通过循环的方式创建目录
touch {1…7680}.txt
或者使用touch命令创建目录
df -i
df -hT
查看还有多少空间
rm -rf /test/*
删除该文件后即可恢复
df -i
df -hT
查看

访问文件的流程示意图

硬链接与软链接

• 链接文件分类

	软链接 又称符号链接	硬链接
删除原文件后	失效	仍旧可用
使用范围	适用于文件或目录	只可用于文件
保存位置	与原文件可以位于不同的文件系统中	必须与原文件在同一个文件系统（如同一个Linux分区）内

• 硬链接
  • ln 源文件 目标位置
• 软链接
  • ln [-s] 源文件或目录… 链接文件或目标位置

恢复误删除的文件

EXT 类型文件恢复

• extundelete 是一个开源的 Linux 数据恢复工具，支持ext3、ext4（只能在CentOS6版本中恢复）文件系统。

操作步骤

fdisk /dev/sdc
使用fdisk创建分区/dev/sdc1

mkfs.ext3 /dev/sdc1
格式化

mkdir /test
创建

mount /dev/sdc1 /test
挂载

df -hT
查看

yum -y install e2fsprogs-devel e2fsprogs-libs
通过yum安装依赖包

extundelete
编译安装

cd /test

wget 使用wget通过该网站下载进行安装

tar jxvf extundelete-0.2.4.tar.bz2
解压

cd extundelete-0.2.4/

./configure - -prefix=usr/local/extundelete && make && install
使用源码编译进行安装

ln -s /usr/local/extundelete/bin* /usr/bin/

模拟删除并恢复操作
cd /test

echo a>a
echo a>b
echo a>c
echo a>d

ls
extundelete /dev/sdc1 - -inode2
查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录

rm -rf a b
extundelete /dev/sdc1 - -inode 2

cd~
umount /test
解挂

extundelete /dev/sdc1 - -restore-all
恢复/dev/sdc1 文件系统下的所有内容。然后会在当前目录下出现一个RECOVERED_FILES/目录，里面包含了已经恢复的文件

ls RECOVERED_FILES/
查看

xfs 类型文件备份和恢复

• CentOS7 系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复
• xfsdump的备份级别有两种
  0表示完全备份
  1-9表示增量备份
  xfsdump的备份默认级别为0
• xfsdump的命令格式

命令	说明
-f	指定备份文件目录
-L	指定标签session label
-M	指定设备标签 media label
-s	备份单个文件，-s后面不能直接跟路径

• xfsdump使用限制
  1.只能备份已挂载的文件系统
  2.必须使用root的权限才能操作
  3.只能备份XFS文件系统
  4.备份后的数据只能让xfsrestore解析
  5.不能备份两个具有相同UUID的文件系统（可用blkid命令进行查看）

操作步骤

fdisk /dev/sdv
使用fdisk创建分区

partprobe /dev/sdb
刷新

mkfs.xfs -f /dev/sdb1
使用-f进行强制格式化

mkdir /data

mount /dev/sdb1 /data/

cd /data

cp /etc/passwd ./

mkdir test

touch test/a

使用xfsdump命令备份整个分区
rpm -qa | grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]

模拟数据丢失并使用xfsrestore命令恢复文件
cd /data/
rm -re ./*
ls

xfsrestore -f /opt/dump_sdb1 /data/

日志文件

日志文件概述

• 日志的功能

  • 用于记录系统、程序运行中发生的各种事件
  • 通过阅读日志，有助于诊断和解决系统故障

• 日志的分类

  • 内核系统日志
    由系统服务rsyslog统一进行管理，日志格式基本相似
    主要配置文件/etc/rsyslog.conf
  • 用户日志
    记录系统用户登录及退出系统的相关信息
  • 程序日志
    由各种应用程序独立管理的日志文件，记录格式不统一

• 系统日志默认保存在：/var/log目录下

• 系统日志主要程序：/sbin/rsyslogd

• 系统日志配置文件：/etc/rsyslog.conf

• 系统日志软件包：rsyslog-7.4.7-16.el7.x86_64

Linux主要包含的日志文件

内核及公共消息日志

• /var/log/messages:记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。

计划任务日志

• /var/log/cron:记录crond计划任务产生的事件信息。

系统引导日志

• /var/log/dmesg: 记录Linux系统在引导过程中的各种事件信息。

邮件系统日志

• /var/log/maillog:记录进入或发出系统的电子邮件活动。

用户登录日志

• /var/log/secure:记录用户认证相关的安全事件信息。
• /var/log/lastlog:记录每个用户最近的登录事件。二进制格式
• /var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件。二进制格式
• /var/run/btmp:记录失败的、错误的登录尝试及验证事件。二进制格式

vim /etc/rsyslog.conf
查看reyslog.conf配置文件
例如：

Linux系统的日志消息级别

• Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）

级别	词组	说明
0	EMERG（紧急）	会导致主机系统不可用的情况
1	ALERT（警告）	必须马上才去措施解决的问题
2	CRIT（严重）	比较严重的情况
3	ERR（错误）	运行出现错误
4	WARNING（提醒）	可能影响系统功能，需要提醒用户的重要事件
5	NOTICE（注意）	不会影响正常功能，但是需要注意的事件
6	INFO（信息）	一般信息
7	DEBUG（调试）	程序或系统调试信息等

Linux系统中用户日志的查询命令及日志记录格式

• users、who、w、last、lastb
• last命令用于查询成功登陆到系统的用于记录
• lastb命令用于查询登陆失败的用户记录

日志记录的一般格式

程序日志分析

• Web服务：/var/log/httpd/
  access_log 记录客户访问事件
  error_log 记录错误事件
• 代理服务：/var/log/squid/
  access.log 记录客户访问事件
  cache.log 记录缓存事件
• 分析工具
  文本查看、grep过滤检索、Webmin管理套件中查看
  awk、sed等文本过滤、格式化编辑工具
  Webalizer、Awstats等专用日志分析工具
  一般通过Windows和Linux挂载的方法，从Linux系统中导出日志查看，或者在Windows中使用WinSCP查看

日志管理策略

• 及时做好备份和归档
• 延长日志保存期限
• 控制日志访问权限，因为日志中可能会包含各类敏感信息，如账号、口令等
  chmod 640 （主成员能读、能写，自己组成员能读，其他用户没有任何权限）
• 集中管理日志
  将服务器的日志文件发到同一的日志文件服务器
  便于日志信息的同一收集、整理和分析
  杜绝日志信息的意外丢失、恶意篡改或删除