1-7 Burpsuite 爬虫介绍

Burpsuite Spider介绍

Burp Spider的功能主要使用于大型的应用系统测试，它能在很短的时间内帮助我们快速地了解系统的结构和分布情况，抓取到某些隐藏的页面等等

在这里插入图片描述

Burpsuite Spider Control介绍

具有开关爬虫的功能，以及设置爬取状态、爬取目标。默认在Target设置。

在这里插入图片描述

Spider is running：开关爬虫的功能

Clear queues：清空爬虫之后的队列

在这里插入图片描述

可以通过设置Spider Score来表示我们要爬取那些目标域

同时我们也可以自定义设置，设置的方式跟Target设置是一样的

实战演示

打开代理拦截功能

在这里插入图片描述

打开想要爬取的网站

在这里插入图片描述

转发到Spider

在这里插入图片描述

点击Target，选Site map，点Filter，勾上Show only in-scope items

在这里插入图片描述

选Scope，选Target Scope，点Add，添加爬取的网站，点OK，点Yes

在这里插入图片描述

爬取完后会在站点地图逐一显示

在这里插入图片描述

Burpsuite Spider Option选项

Spider可选项设置由抓取设置、抓取代理设置、表单提交设置、应用登陆设置、蜘蛛引擎设置、请求消息头设置六个部分组成

在这里插入图片描述

这个是抓取设置

Maximum link depth：爬取的最大深度

Burpsuite Spider Option选项

被动爬取，不与服务器发生交互。发送新的请求抓取某些页面

在这里插入图片描述

Burpsuite Spider Option选项

表单提交，用来匹配和自动提交表单内容。

在这里插入图片描述

可以通过更详细的表单提交，来达到对站点更准确的爬虫

Burpsuite Spider Option选项

设置应用程序登录与蜘蛛爬虫引擎。

在这里插入图片描述

Burpsuite Spider Option选项

设置爬虫HTTP消息头

在这里插入图片描述

可以应对网站的反爬虫机制以及加入cookie值进行对应的爬取

想要爬取登录后的界面，可以添加cookie

在这里插入图片描述

这样我们每次爬取请求的时候，都会加入cookie值，从而使我们的爬取更加准确

想要修改消息头也可以

在这里插入图片描述

通过控制和可选项使我们的爬虫更加强大和灵活

总结

1、掌握Burpsuite爬虫引擎选项。

特别是登录页面的站点，我们要加入cookie值才可以爬取登录后的目录结构，否则无法进行爬取

2、掌握Burpsuite爬取站点的方法。

3、HTTP加密的，爬取不了，只能选择http协议的

1-7 Burpsuite 爬虫介绍

猜你喜欢