[网络协议]信息收集——Web目录扫描

目录扫描原因
寻找到网站后台管理
寻找未授权界面
寻找网站更多隐藏信息

目录扫描方法

robots.txt

Robots协议 （Robots Exclusion Protocol）
“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。同时也记录网站所具有基本的目录

搜索引擎

搜索引擎会爬取网站下目录，并且不需要触碰网站任何防御设备
语法：site:sangfor.com.cn

爆破

通过字典匹配网站是否返回相应正确状态码，然后列出存在的目录爆破可能会触发网站防火墙拦截规则，造成IP封禁

爆破一工具
dirb、dirbuster、御剑

爆破-DIRB
DIRB是一个Web内容扫描程序
通过字典查找WEB服务器的响应
DRIB只能扫描网站目录不能扫描漏洞

参数:

-a 设置User-Agent,(Default is:"Mozilla/4.0 (compatible;MSIE

6.0;Windows NT 5.1)")

-X XXX在每个词后增加XXX后缀,比如“.html”、“php”

-z number延迟多少毫秒后,再发包。比如间隔1秒发包,-z 1000

-b不扫描../或者./

-c设置Cookie

-E设置证书文件

-o outfile file保存扫描文件

爆破-dirbuster
DirBuster多线程Java应用程序
? 主要扫描服务器上的目录和文件名
? 扫描方式分为基于字典和纯爆破
? OWASP下开源项目

爆破一dirbuster

字典爆破使用步骤:

Target URL输入URL,格式按照eg输入

work method选择Auto Switch

Number of Threads根据环境设定

select scaning type选择List based

brute force

File with list of dirs,/files点击browse

选择字典文件

select starting options选择URL fuzz

URL to fuzz输入/{dir}

start