大佬:看日志去!看日志啊!你TM不会查日志吗!——Linux文件系统与日志分析


inode与block

inode和block概述

  • 文件数据包括元信息与实际数据
  • 文件存储在硬盘上,硬盘最小存储单位是“扇区”,每个扇区存储512字节
  • block(块)
    连续的八个扇区组成一个block(4k)
    是文件存储的最小单位
  • inode(索引节点)
    中文译名为“索引节点”,也叫i节点
    用于存储文件元信息

inode的内容

inode包含文件的元信息

  • 文件的字节数
  • 文件拥有者的User ID
  • 文件的Group ID
  • 文件的读、写、执行权限
  • 文件的时间戳

用stat命令可以查看某个文件的inode信息

  • 示例:srat aa.txt

Linux系统文件三个主要的时间属性

  • ctime(change time)
    最后一次改变文件或目录(属性)的时间
  • atime(access time)
    最后一次访问文件或目录的时间
  • mtime(modify time)
    最后一次修改文件或目录(内容)的时间

目录文件的结构

  • 目录也是一种文件
  • 目录文件的结构
文件名 inode号码1
文件名2 inode号码2

每一项称为一个目录项

每个inode都有一个号码,操作系统用inode号码来识别不同的文件

Linux系统内部不使用文件名,而使用inode号码来识别文件

对于用户,文件名只是inode号码便于识别的别称

inode的号码

用户通过文件名打开文件时,系统内部的过程

  1. 系统找到这个文件名对应的inode号码
  2. 通过inode号码,获取inode信息
  3. 根据inode信息,找到文件数据库所在的biock,读出数据

查看inode号码的方法

  • ls -i命令:查看文件名对应的inode号码
    示例
ls -i aa.txt
  • stat命令:查看文件inode信息中的inode号码
    示例
stat aa.txt

文件储存小结

硬盘分区后的结构

文件名 目录项 目录块
元信息 inode inode表区块
数据 block block数据区

访问文件的简单流程

用户访问文件时,系统会查找对应的inode,根据inode判断用户是否具备访问权限,若具备,则指向对应的数据block,若用户不具备访问权限,则返回Permission denied

inode的大小

  • inode也会消耗硬盘空间
    每个inode的大小一般是128字节或256字节
  • 格式化文件系统时确定inode的总数
  • 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

inode的特殊作用

由于inode号码与文件分离,导致一些Unix/Linux系统具有以下的现象

  • 当文件名包含特殊字符,可能无法正常删除文件,直接删除inode,也可以删除文件
  • 移动或重命名时,只改变文件名,不影响inode号码
  • 打开一个文件后,系统通过inode号码来识别该文件,不再考虑文件名

硬链接与软链接

链接文件

  • 为文件或目录建立链接文件
  • 链接文件分类
软连接 硬链接
删除原始文件后 失效 仍旧可用
使用范围 适用于文件或目录 只可用于文件
保存位置 与原始文件可以位于不同的文件系统中 必须与原始文件在同一个文件系统中(如一个Linux分区)内
与源文件的关系 相当于快捷方式 相当于给文件起个别名
inode号码 inode号码不同 inode号码相同

当一个文件拥有多个硬链接时,对文件内容修改,会影响到所有文件名;但是删除一个文件名,不影响别的文件名的访问。删除一个文件名,只会使得“硬链接数”减1.

需要注意的是不能对目录做硬链接。在日常工作中几乎不会建立文件的硬链接

恢复误删除的日志

日志文件

日志的功能

  • 用于记录系统、程序运行中发生的各种事件
  • 通过阅读日志,有助于诊断和解决系统故障

日志文件的分类

  • 内核及系统日志
    由系统服务rsyslog统一进行管理,日志格式基本相似
    主配置文件为/etc/rsysiog.conf
  • 用户日志
    记录系统用户登录及退出系统的相关信息
  • 程序日志
    由各种应用程序独立管理的日志文件,记录格式不统一

日志保存位置

Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/

主要日志文件介绍

常见的一些日志文件:

#内核及公共消息日志:
/var/log/messages: 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、I0错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
#计划任务日志:
/var/log/cron: 记录crond计划任务产生的事件信息。
#系统引导日志:
/var/log/dmesg:记录Linux系统在引导过程中的各种事件信息。
#邮件系统日志:
/var/log/maillog:记录进入或发出系统的电子邮件活动。
#用户登录日志:
/var/log/secure: 记录用户认证相关的安全事件信息。
/var/log/lastlog: 记录每个用户最近的登录事件。二进制格式
/var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/ run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式

vim /etc/rsyslog.conf          #查看rsyslog.conf配置文件
*.info;mail.none;authpriv.none;cron.none          /var/log/messages

内核及系统日志

由系统服务 rsyslog 统一管理

  • 软件包:rsyslog-7.4.7-16,
  • 主要程序:/sbin/rsyslogd
  • 配置文件:/etc/rsyslog.conf

日志消息的级别

级号 消息 级别 说明
0 EMERG 紧急 会导致主机系统不可用的情况
1 ALERT 警告 必须马上采取措施解决的问题
2 CRIT 严重 比较严重的情况
3 ERR 错误 运行出现错误
4 WARNING 提醒 可能会影响系统功能的事件
5 NOTICE 注意 不会影响系统但值得注意
6 INFO 信息 一般信息
7 DEBUG 调试 程序或系统调试信息等

日志记录的一般格式

时间标签 主机名 子系统名 消息字段

分析日志文件

用户日志分析

保存了用户登录、退出等相关信息

  • /var/log/lastlog:最近的用户登录事件
  • /var/log/wtmp:用户登录、注销及系统开、关机事件
  • /var/run/utmp:当前登录的每个用户的详细信息
  • /var/log/secure:与用户验证相关的安全性事件

分析工具

  • users、who、w、last、lastb
  • last 命令用于查询成功登录到系统的用户记录
  • lastb 命令用于查询登陆失败的用户记录

程序日志分析

由相应的应用程序独立进行管理

  • Web服务:/var/log/httpd/
access_log         //记录客户访问事件
error_log          //记录错误事件
  • 代理服务:/var/log/squid/
    access.log、cache.log
  • FTP服务:/var/log/xferlog

分析工具

  • 文本查看、grep过滤检索、Webmin管理套件中查看
  • awk、sed等文本过滤、格式化编辑工具
  • Webalizer、Awstats等专用日志分析工具

日志管理策略

  • 及时做好备份和归档
  • 延长日志保存期限
  • 控制日志访问权限
    日志中可能会包含各类敏感信息,如账户、口令等
  • 集中管理日志
    将服务器的日志文件发到统一的日志文件服务器
    便于日志信息的统一收集、整理和分析
    杜绝日志信息的意外丢失、恶意篡改或删除

在Linux操作系统中,还有相当一部分应用程序没有使用rsyslog服务来管理日志,而是由程序自己维护日志记录。例如,htpd网站服务程序使用两个日志文件access_log和error_log分别记录客户访问事件和错误事件。不同应用程序的日志记录格式差别较大,且没有严格使用同统一的格式,这里不再详细介绍。总的来说,在对系统管理维护时,应该提高警惕,随时注意各种可以状况,定期并随机检查各种系统日志文件,包括一般信息日志、网络连接日志、文件传输日志及用户。

在登录日志记录等检查这些日志的时候,要注意是否有不合常理的时间或操作记录。比如出现以下现象就要多加注意。
·用户在非常规的时间登录,或者用户登录系统的IP地址和以往的不一样。
·用户登录失败的日志记录,尤其是那些一再连续尝试进入失败的日志记录。

  • 非法使用或不正常使用超级用户权限的记录。
  • 无故或非法重新启动各项网络服务的记录。
  • 不正常的日志记录,如日志残缺不全,或者是诸如wtmp这样的日志文件无故缺少了中间的记录文件。

另外,有一点要注意的是,日志并不是完全可靠的,高明的黑客在入侵系统后经常会打扫现场,所以管理者需要综合运用以上的系统命令,全面、综合地进行审查和检测,切忌断章取义,否则将可能做出错误的判断。

猜你喜欢

转载自blog.csdn.net/Alterego_/article/details/110825225