2019/4/19- - -
关于情报侦查与信息收集，演示使用脚本自动收集OSINT数据的实验
一、理论
渗透测试与攻击的第一步是情报侦查与信息收集，又称为踩点。
侦察可以分为两种类型
被动侦察（Passive reconnaissance）
主动侦察（Active reconnaissance）
被动侦察：
一般是指分析公开的信息，这些信息包括目标本身的信息，在线的公共资源信息。
在获取这些信息时，测试者或攻击者不会与目标交互，他们的请求不会被日志记录，也无法定位测试者。
因此，在被动侦察中要尽可能的减少与目标的交互与目标的交互可能会确认攻击者的身份。
被动侦察又被称为开源情报OSINT（Open Source Intelligence ）
OSINT可以分为两种类型：进攻和防守。
进攻型需要分析对防范目标进行攻击所需的所有数据
防御型只是收集以前的违规数据和与目标相关的其他安全事件的技术。
从公共的资源，特别是互联网上，进行信息收集。
下面介绍八种方法收集信息
1、dnswalk
可以直接判断域名所对应的服务器是否存在DNS Zone Transfers漏洞。如果存在，则可以获取该域名的各种信息。
通过区域传送查询区域信息
dnswalk baidu.com.
2、whois
whois: 谁拥有一个特定域或一系列IP地址
whois baidu.com
3、dnsenum
dnsenum --dnsserver 8.8.8.8 163.com
4、maltego
对个人或组织的侦察，Maltego是OSINT框架中最强大的一个。这是一种GUI工具集，通过各种方法收集个人在互联网上公开的信息。它还能够枚举域名系统（DNS），强力破解普通DNS，并以易于阅读的格式收集来自社交媒体的数据。
如何在基于目标的渗透测试或红队练习中使用Maltego M4，我们可以利用此工具开发数据可视化软件，用于处理我们收集的数据。社区版将随着Kali Linux发行。访问该应用程序的最简单方法是在终端中输入maltegoce。在Maltego中，这类任务被称为转换（transforms）。转换内置在工具中，被定义为执行特定任务的代码脚本。
然后在kali liunx中打开
5、google缓存
来自互联网的东西并不意味着会从Google删除。被Google访问过的页面都被备份为快照存放在Google缓存中。通常情况下，可以根据搜索查询来查看Google是否可以为你提供最佳的可用页面。同样可以用来收集关于目标的信息：例如，被采集的数据库的详细信息已经发布在sampledatadumpwebsite.com上，该网站或该链接已经从互联网上消失。如果Google已访问该页面，则此信息会为攻击者提供大量信息，例如用户名、哈希密码、正在使用的后端类型以及其他相关的技术和策略信息。
6、theharvester
theHarvester工具是一个Python脚本，该脚本借助流行的搜索引擎和其他一些站点来进行搜索，如电子邮件地址、主机以及子域站点等。
使用theHarvester工具是相当简单的，只需通过几个命令参数来进行设置。可用的选项如下：
-d：用来确定搜索的域；即一般的域或者目标网站。
-b：用来确定提取信息的来源；来源必须是下面的一种：
Bing、BingAPI、Google、Google-Profiles、Jigsaw、LinkedIn、People123、PGP，
或者以上的全部。
-l：该选项使theHarvester只收集来自特定数目的返回搜索结果的数据。
-f：用来保存最后结果，保存为HTML文件或者XML文件。如果省略该选项，结果将会显示在屏幕上，但是不会被保存。
7、shodan
shodan网站是最疯狂的搜索引擎之一，可以搜索任何连接到互联网的设备，比如和互联网关联的服务器、摄像头、打印机、路由器等等。
官网：
www.shodan.io
8、google黑客数据库（高级搜索）
搜索有关防火墙的PDF文件
防火墙 filetype：pdf
还可以加入以下选项，进行高级搜索。
二、使用脚本自动收集OSINT数据
编辑一个脚本，实现自动扫描任何域名网站，然后生成详细文件，可以方便查看
#!/bin/bash
read -p "Enter target domain: " domain
if [ ! -z $domain ]
then
echo "Target domain set to $domain"
theharvester -d $domain -l 500 -b all -f harvester_$domain
echo "done!"
echo "*********************************"
echo "Whois Details"
whois $domain >> whois_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f txt >> goofile_txt_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f pdf >> goofile_pdf_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f doc >> goofile_doc_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f xls >> goofile_xls_$domain
echo "done!"
else
echo "Error,please reinput "
fi
在执行这个脚本文件之前，先赋予执行权限
chmod +x 脚本文件
然后这个脚本文件中用到了goofile这个工具，需要在kali linux 上下载
apt-get -y install goofile
然后就可以执行这个脚本文件了
bash sou.sh
提示我们要先输入一个想要扫描的域名
执行完毕，查看一下whois_baidu.com这个文件，有没有关于baidu.com的信息。
会发现有关于baidu.com的信息，还是挺详细的o(*≧▽≦)ツ
OK，有什么问题，评论交流(*￣︶￣)