日志分析技术

windwos日志分析

依赖于Eventlog服务

用时间查看器进行管理

存储位置：

%SystemRoot%\system32\config\

%SystemRoot%\System32\Winevt\Logs\

日志类型：

应用程序日志（系统组件和第三方应用程序）

类型包括：信息，警告，错误。

安全日志

来源于Security

应急响应过程中重要参考对象

Ø 用户名

Ø 登录类型

Ø 工作站名称

Ø 源网络地址

默认只有登录成功的审核日志

登录类型：

 审计的策略可以进行更改。

系统日志（系统组件）

大部分事件均有固定的事件ID

主要包括错误和警告日志

Linux日志分析

linux日志文件依赖的服务：

• syslog
• rsyslog
• syslog-ng

默认配置文件  

/etc/syslog.conf

/etc/rsyslog.conf

/etc/syslog-ng/syslog-ng.conf

默认路径

/var/log

在linux中，一切皆文件，因此可以通过普通的文本查看的命令进行查看

cat more tail head grep sed awk 

用logrotate程序定期备份、清理日志

默认只有root用户对于日志文件有进行编辑的能力

logrotate是日志文件管理工具

配置文件/etc/logrotate.conf

通过/etc/cron.daily/logrotate

备份旧的日志文件，创建新的日志文件并让日志服务写到新文件 

常见日志文件

p /var/log/secure

Ø 认证授权相关信息

p /var/log/cron

Ø 定时任务相关信息

p /var/log/message

Ø 系统、服务相关信息

p /var/log/maillog

Ø 邮件收发相关信息

用户登录相关日志文件

wtmp

Ø 用户登陆及系统启停（

last）

p lastlog

Ø 最近成功登陆时间（

lastlog）

Ø lastlog -f /var/log/lastlog

p btmp

Ø 登陆认证失败记录（

lastb）

Ø lastb -f /var/log/btmp

p utmp

Ø 当前在线用户（w、who、users）

Ø who /var/run/utmp

journalctl的使用

查看本次启动的所有日志

Ø journalctl –b

  查看指定时间的日志

Ø journalctl --since= "2018-09-21 10:21:00"

Ø journalctl --since= "2018-09-21 10:21:00" --until= "2018-09-21 10:22:00"

Ø journalctl --since= "10 min ago"

Ø journalctl --since= "2 days ago"

查看指定服务的日志

Ø journalctl -u rsyslog.service

命令执行历史记录

Ø ~/.bash_history

使用vim操作记录

Ø ~/.viminfo

SSH连接记录

Ø ~/.ssh/known_hosts

  账户相关记录

Ø stat /etc/passwd /etc/shadow（Modify、Change）

Ø ls -la /home

Web应用日志分析

IIS日志文件

默认路径

Ø %systemroot%\system32\LogFiles （

IIS6）

Ø %SystemDrive%\inetpub\logs\LogFiles （

IIS7）

日志文件名

Ø exYYMMDD.log（

IIS6）

Ø u_exYYMMDD.log （

IIS7）

日志格式

p 默认为W3C格式

Ø c-xxx（客户端相关字段）

Ø s-xxx（服务端相关字段）

Ø cs-xxx(客户端到服务器)

Ø sc-xxx(服务器到客户端)

 Apache httpd

默认配置文件

Ø httpd.conf

默认访问日志文件名

Ø access_log

常见路径

/var/log/httpd 

默认格式

Ø CustomLog logs/access_log combined

Ø LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

Ø LogFormat "%h %l %u %t \"%r\" %>s %b"  common

p %h客户端IP

p %l远端登录名(ident)

p %u远程用户名

p %t访问时间

p %r请求的第一行

p %>s最后请求状态

p %b 传送字节数

p %{ header }i HTTP请求头

Nginx日志

默认配置文件

Ø nginx.conf

p 默认访问日志文件名

Ø access.log

p 常见路径

Ø /var/log/nginx

p 默认格式

log_format main ' $remote_addr - $remote_user [ $time_local ] " $request " '

' $status $body_bytes_sent " $http_referer " '

'" $http_user_agent " " $http_x_forwarded_for "' ;

access_log /var/log/nginx/access.log main

Jboss日志

p 默认不开启access_log

Ø 修改$JBOSS_HOME\standalone\configuration\standalone.xml

Ø 在virtual-server节点添加<access-log/>

<access-log pattern="common" directory="${jboss.home.dir}/standalone/log" prefix="access"

Web攻击的特性

•  sql注入
• xss漏洞
• 目录穿越
• 命令注入
• struct2漏洞
• 暴力破解

设备日志

思科（cisco）交换机的日志等级：

默认交换机配置

 日志消息格式：

Ø seq no:timestamp: %facility-severity-MNEMONIC : description

00:00:48: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet0/1, changed state to down

2

思科的交换机默认将日志文件保存到控制台，建议把日志发送到日志服务器

device#configure terminal

device(config)#logging on

device(config)# logging 1.2.3.4

// 日志服务器 IP

device(config)#logging facility local1

//facility 标识

device(config)#logging trap errors

// 日志记录级别

防火墙日志分析

被阻断IP TOP10

Ø 非法外联

Ø 端口扫描

网络攻击

Ø 病毒木马

Ø 拒绝服务

带宽使用情况

Ø 拒绝服务

Ø 漏洞扫描

Ø 传输敏感文件

Ø 导数据库数据

异常登陆

Ø 防火墙系统登陆

Ø VPN用户登陆

Ø 添加用户

Ø 修改密码

配置变更

Ø 添加/删除策略

告警/阻断IP TOP10

Ø 漏洞扫描

Ø 感染木马后门

Ø 感染蠕虫病毒

Ø 拒绝服务攻击

Ø 口令猜解

高风险事件

Ø 远程命令执行

Ø SQL注入

Ø 命令注入

 IDS/IPS日志分析

分析攻击时间段日志

Ø 定位攻击机和被攻击机

分析特定IP日志

Ø 攻击时间

Ø 攻击手段

Ø 利用的漏洞

Ø 攻击后的行为

防病毒日志分析

防病毒软件/系统日志

Ø 感染的蠕虫病毒

Ø 感染的勒索病毒

Ø 植入的木马后门

Ø 上传的Webshell

Ø 上传的黑客工具

• 密码提取

• 端口扫描

• 弱口令扫描

• 漏洞利用

  

日志分析工具

grep/findstr

grep

-v xxx 排除包含xxx的记录 -E 扩展选项为正则表达式

Ø grep –i “key word” access.log

Ø grep –i “key word” `find /usr/local/apache -type f`

Ø cat access.log | grep –v “.js”

Ø cat access.log | grep -v -E ".jpg|.png|.gif|.bmp|.css|.js|.htm|.html|400|404|403|401|.pdf|.txt|.mp4|.mp3|GET /

HTTP/1.1|YisouSpider"

findstr

Ø findstr “

key word” *.asp （当前文件夹）

Ø findstr /s “

key word” *.asp （子目录遍历）

Notepad++

AnalysePlugin

• 添加多个搜索条件

• 高亮显示搜索结果

• 支持正则表达式

Emeditor

Ø 内存占用小，不卡顿、可打开大文件

Ø 按行切割

Ø 文本去重

Ø 差异比较

Ø 快速排序

Ø 内容筛选与提取

Sublime text

Ø 替换换行符等特殊字符

Ø 批量选择、添加、删减相同数据

Ø 强大的快捷键

Ø 批量搜索