Burpsuite Spider介绍
Burp Spider的功能主要使用于大型的应用系统测试，它能在很短的时间内帮助我们快速地了解系统的结构和分布情况，抓取到某些隐藏的页面等等
Burpsuite Spider Control介绍
具有开关爬虫的功能，以及设置爬取状态、爬取目标。默认在Target设置。
Spider is running：开关爬虫的功能
Clear queues：清空爬虫之后的队列
可以通过设置Spider Score来表示我们要爬取那些目标域
同时我们也可以自定义设置，设置的方式跟Target设置是一样的
实战演示
打开代理拦截功能
打开想要爬取的网站
转发到Spider
点击Target，选Site map，点Filter，勾上Show only in-scope items
选Scope，选Target Scope，点Add，添加爬取的网站，点OK，点Yes
爬取完后会在站点地图逐一显示
Burpsuite Spider Option选项
Spider可选项设置由抓取设置、抓取代理设置、表单提交设置、应用登陆设置、蜘蛛引擎设置、请求消息头设置六个部分组成
这个是抓取设置
Maximum link depth：爬取的最大深度
Burpsuite Spider Option选项
被动爬取，不与服务器发生交互。发送新的请求抓取某些页面
Burpsuite Spider Option选项
表单提交，用来匹配和自动提交表单内容。
可以通过更详细的表单提交，来达到对站点更准确的爬虫
Burpsuite Spider Option选项
设置应用程序登录与蜘蛛爬虫引擎。
Burpsuite Spider Option选项
设置爬虫HTTP消息头
可以应对网站的反爬虫机制以及加入cookie值进行对应的爬取
想要爬取登录后的界面，可以添加cookie
这样我们每次爬取请求的时候，都会加入cookie值，从而使我们的爬取更加准确
想要修改消息头也可以
通过控制和可选项使我们的爬虫更加强大和灵活
总结
1、掌握Burpsuite爬虫引擎选项。
特别是登录页面的站点，我们要加入cookie值才可以爬取登录后的目录结构，否则无法进行爬取
2、掌握Burpsuite爬取站点的方法。
3、HTTP加密的，爬取不了，只能选择http协议的