Python安全小工具之日志分析识别AWVS扫描

本篇文章主要先从客户端和服务端分析AWVS扫描的特征,然后再稍微修改一下Apache的access.log的日志格式、使之可以显示POST请求行内容,最后编写分析识别AWVS扫描的脚本。


AWVS工具的扫描分析:

Acunetix Web Vulnerability Scanner(简称AWVS)是一款知名的Web网络漏洞扫描工具,它通过网络爬虫测试你的网站安全,检测流行安全漏洞。

AWVS在扫描目标网站的时候,首先会爬取目标网站的所有链接,包括被注释掉的浏览器不显示的链接。可以利用这一点,来区分是真人访问还是浏览器扫描。

这里由于是比较早的测试分析,使用的版本是AWVS 10.5。

客户端角度分析:

这里主要在扫描者的主机上使用Wireshark抓包分析AWVS扫描的一些特征。

1、扫描testhtml5.vulnweb.com

三次握手建立之后,AWVS首先会发送如下请求包尝试访问不存在的目录/acunetix-wvs-test-for-some-inexistent-file来查看Web服务器返回的错误页面,其中可以看出该版本中其header的User-Agent已经没有awvs字符而是将多个不同浏览器的UA放在一起:



在cookie字段中发现尝试溢出的请求:

Cookie: acunetixCookie=AAAAAAAAA



对于User-Agent的内容,和之前版本的标识为awvs的不同,其将UA修改为正常的UA,因而对于较新版本的AWVS无法利用UA进行简单的判断:

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.21 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.21


不过会存在一些测试User-Agent字段的可以利用来判断:

User-Agent: ;print(md5(acunetix_wvs_security_test));



期间会有CONNECT方法请求代理服务器去访问目标站点,代理服务器为awvs的站点:

CONNECT www.acunetix.wvs:443 HTTP/1.1


然后是GET方法访问该代理服务器站点:

GET http://www.acunetix.wvs HTTP/1.1



查看所有TCP的POST请求头内容,括号中的内容为Content-Type,其中进行测试的Content-Type字段的值为:acunetix/wvs

而其他的大多数的Content-Type的值为:application/x-www-form-urlencoded


且该测试的POST包的内容为:acunetix test



POST请求中有一些是尝试扫描发现cgi-bin目录下的php文件:


其中请求正文的内容包含字符串:acunetix-php-cgi-rce


将URL编码的内容解码为:

-d+allow_url_include=on+-d+safe_mode=off+-d+suhosin.simulation=on+-d+disable_functions=""+-d+open_basedir=none+-d+auto_prepend_file=php://input+-d+cgi.force_redirect=0+-d+cgi.redirect_status_env=0+-n


其中有的POST请求包尝试登陆时会在请求头中出现以下标识的字段:

Acunetix-Aspect: enabled

Acunetix-Aspect-Password: 082119f75623eb7abd7bf357698ff66c

Acunetix-Aspect-Queries: filelist;aspectalerts



接着查看TCP中包含”wvs”的包:

发现一些直接在URL上添加payload进行测试,且测试用的数据为:acunetix_wvs_security_test



接着查看TCP中包含”acunetix”的包:

典型的特征在一些GET方法的请求行中出现相应的标志内容:


还有一些是尝试在URL中将内容写入缓存的标志字段处:cache/acunetix


对于header头中的Accept字段,将希望接收的内容类型设置为不存在的类型使其报错:

Accept: acunetix/wvs


上面的Accept字段的值有小部分是,其余Accept的值都为*/*


Accept-Language、Referer、X-Forwarded-Host、Host、X-Forwarded-For字段也会存在注入测试:

Accept-Language: ;print(md5(acunetix_wvs_security_test));


Referer: ;print(md5(acunetix_wvs_security_test));


X-Forwarded-Host: ;print(md5(acunetix_wvs_security_test));


Host: ;print(md5(acunetix_wvs_security_test));


X-Forwarded-For: ;print(md5(acunetix_wvs_security_test));



查看POST的包:

在进行注入测试时,有的URL是存在injected_by_wvs字符串的



整个扫描的大致流程为:和目标站点三次握手连接成功后,先访问不存在的目录/acunetix-wvs-test-for-some-inexistent-file,接着尝试访问robots.txt,然后进行各种目录文件的爬去、遍历扫描和进行相关漏洞的检测。


服务端角度分析:

这里主要从Web服务器的日志的角度分析AWVS的扫描特征,以Apache为例,修改Apache日志格式:

Apache的访问日志access.log的路径为/var/log/access.log

而Apache的配置文件在旧版本中是为httpd.conf,可以通过命令以下命令查看其路径:find . -name ‘httpd.conf’

而在最近的版本中,其配置文件已改为apache2.conf,路径为/etc/apache2/apache2.conf

vim该文件进行修改,然后输入/CustomLog 来查看相应的内容,其中LogFormat为修改日志格式的地方:




使用AWVS扫描后再次查看access.log日志:




可以发现header中的每个上面总结的字段都可以发现有AWVS相关的字样,即验证了上面总结的方法的有效性。

但是日志的缺点就是没能记录POST请求的相关内容。

另外,这里补充一个之前没找到的一个特征:


期间AWVS会尝试访问http://testasp.vulnweb.com/t/fit.txt ,该站点是属于AWVS维护的,也是可以作为检测的特征之一。


修改Apache日志格式使之记录POST请求:

注意,这里修改日志格式也只是能显示POST请求行内容而无法显示提交的具体的数据。

参考:https://www.cyberciti.biz/faq/apache-mod_dumpio-log-post-data/

sudo a2enmod dump_io

/etc/init.d/apache2 force-reload

vi apache2.conf修改如下:

DumpIOInput On

DumpIOLogLevel debug

DumpIOOutput On

service apache2 restart

查看access.log日志,可以看到POST请求行和POST请求header的字段中存在标识字符串“acunetix”:



扫描特征小结:

除了具有扫描器一般的扫描特征外,还有着其标志性的特征:

(1)根据GET、POST请求行中是否存在“acunetix”、“injected_by_wvs”、“wvstest”、“vulnweb.com”等AWVS标识的字符串来判断;

(2)根据在前期测试的GET请求中是否尝试访问/acunetix-wvs-test-for-some-inexistent-file目录来判断;

(3)根据User-Agent,对于旧版本的AWVS且扫描者没有修改UA的情况下可以直接判断UA的值是否含有awvs即可,在新版的AWVS中UA虽然修改为正常的UA但存在一部分是进行User-Agent字段测试的请求包,即可判断是否含有“acunetix”进而可以判断;

(4)搜索header中Cookie字段的值是否为“acunetixCookie=AAAAA”(A很多),即根据AWVS进行cookie溢出注入的测试来判断;

(5)根据header中的多个字段的值,如Host、Accept、Content-Type、Referer、Accept-Language、X-Forwarded-For、X-Forwarded-Host字段的值是否存在“acunetix”字符串来判断;

(6)根据header中是否存在Acunetix-Aspect、Acunetix-Aspect-Password、Acunetix-Aspect-Queries等字段来判断;

(7)根据POST请求提交的内容中是否包含“acunetix”来判断;

(8)根据是否存在CONNECT方法或GET方法请求acunetix的相关站点来判断;

(9)根据GET请求行中是否存在参数wvstest来判断;


编写日志分析识别脚本:

说到底,分析一堆特征,就是为了建立一个黑名单列表,基于黑名单分析日志文件,识别是否有恶意IP对服务器进行AWVS扫描。

这里的黑名单列表就只列出关键性的几个特征即可,以降低误报率。

#!/usr/bin/python
#coding=utf-8

blacklist = ['acunetix', 'awvs', 'wvstest', 'vulnweb.com', 'injected_by_wvs']
ips = []

try:
	with open('/var/log/apache2/access.log','r') as f:
		for i in f.readlines():
			for j in blacklist:
				if j in i:
					ip = i.split(' ')[0]
					if ip not in ips:
						ips.append(ip)
						print "[+]Found AWVS Scan!"
						print "[+]IP Address: " + ip
						print "[+]The Detail Info: "
						print i.strip('\n').strip('\r')
						print
		
		if len(ips) == 0:
			print "[*]There is no action of AWVS scan."

except Exception as e:
	print "[-]Can't open the Apache2's access.log!"
	print e

该脚本实现了对恶意扫描的IP地址的去重。

看看运行结果:



这里只是以Apache的access.log日志文件为例,AWVS扫描的特征是一致的,其他的Web日志只需要稍微修改下格式都能通用。

猜你喜欢

转载自blog.csdn.net/ski_12/article/details/78705998
今日推荐