目录
Cewl简介
Cewl是一款采用Ruby开发的应用程序,你可以给它的爬虫指定URL地址和爬取深度,还可以添额外的外部链接,接下来Cewl会给你返回一个字典文件,然后可以用于密码破解。
Cewl命令参数
cewl [选项] ... URL
--help,-h:显示帮助
--keep,-k:保留下载的文件
--depth x,-d x:深度到蜘蛛,默认2
--min_word_length,-m:最小字长,默认为3
--offsite,-o:让蜘蛛访问其他网站
--write,-w file:将输出写入文件
--ua,-u user-agent:用户代理发送
--no-words,-n:不输出单词表
--meta, -a 包含元数据
--meta_file file:元数据的输出文件
--email,-e包括电子邮件地址
--email_file file:电子邮件地址的输出文件
--meta-temp-dir directory:exiftool在解析文件时使用的临时目录,默认为/ tmp
--count,-c:显示找到的每个单词的计数
Cewl的使用
默认方法
cewl http://www.baidu.com/
如图,将生成的字典在终端里显示出来
将生成的字典存储在文件中
cewl http://www.baidu.com/ -w baidu.txt
指定生成长度的字典
cewl http://www.baidu.com/ -m 6
上面这条命令长度最小为6的单词
计算网站中单词出现的次数
cewl http://www.baidu.com/ -c
增加爬取深度
cewl http://www.baidu.com/ -d 3
增加爬虫的爬取深度以生成更大的字典文件,默认情况下爬取深度是2
提取调试信息
cewl http://www.baidu.com/ --debug
Verbose模式
cewl http://www.baidu.com/ -v
该模式下,Cewl会导出目标网站的详细数据:
生成包含数字和字符的字典
cewl http://www.baidu.com/ --with-numbers
Cewl摘要/基础认证
如果目标网站需要进行页面登录认证的话,我们就要使用下列参数来绕过页面认证的限制:
–auth_type: Digest or basic.
–auth_user: Authentication username.
–auth_pass: Authentication password.
cewl http://192.168.1.105/dvwa/login.php --auth_type Digest --auth_user admin--auth_pass password -v
代理URL
如果目标网站设置了代理服务器的话,Cewl将无法使用默认命令来生成字典。此时你需要使用–proxy option选项来启用代理URL功能:
cewl --proxy_host 192.168.1.103 --proxy_port 3128 -w dict.txt http://192.168.1.103/wordpress/