web侦察信息收集工具

简介

项目地址：https://github.com/killmonday/whatscan

在信息收集的过程往往遇到以下问题：

网络空间搜素引擎和诸多扫描工具如kscan、fscan等，所探测到的web资产，存在大量状态码为302、200的页面没有标题，也识别不出是什么东西，有一些页面是真的没有标题，但更多的页面其实是由于扫描器没有跟随跳转，无法得到最终页面，所以标题是空。无法得到最终页面的原因，要么是没有跟随状态码，要么是状态码为200但在页面js中进行了跳转，由于扫描器无法渲染js因此无法跟随。基于这样的原因，导致很多资产搞不清楚它是什么，更搞不清楚它是什么性质。
由于任务目标的语言问题，往往从页面标题看不出其性质，哪怕手动打开页面也需要翻译，判断一个网站是否归属于目标比较困难。
得到了大量目标域名和ip，想要探测目标c段找找还有没有目标资产，但哪怕探测到了web资产也面临上述问题1和问题2，整体来说是个体力活。

为解决以上问题，笔者开发了whatscan，可以对批量URL进行web扫描、截屏、标题翻译、高频词识别、web组件识别，输出为excel和word文档，翻遍整理和撰写报告。

其中，web组件识别使用了kscan的2.4w条web指纹，目录下的kscan.dll是基于kscan源码修改添加了调用本地指纹识别的go方法（使用了cgo），编译为dll，然后在python中调用dll里的导出函数直接进行指纹识别，不进行多余的二次探测，kscan的指纹在目录下的static\fingerprint.txt，可自定修改和添加新指纹，这样就具备了可扩展能力（感谢kscan）。

整体来说，whatscan的功能如下：

web资产识别（CMS/应用组件/容器/编程语言等信息）
支持对web站点截屏
支持浏览器模拟，解决普通爬虫对js无法渲染的短板，可识别js跳转得到真实页面和标题
支持标题翻译（调用google翻译，因此需要翻墙）
支持从页面提取高频词并翻译
支持IP反析域名
支持导出word文档和excel
适合从核心资产提取了c段后，对多个c段内的资产进行探测和梳理，看看存在什么东西，有没有需要关注的资产

使用

本项目使用selenium借用chromedriver进行无头浏览器的访问。因此需要安装chrome浏览器，并访问https://chromedriver.chromium.org/downloads**下载符合当前chrome版本的chromedriver.exe放置到项目路径下**。若chromedriver.exe版本不符合，可能一运行就会报满屏异常，看起来在运行，其实没有用，还是要换正确的版本。

运行前，修改当前目录下的config.ini，根据自己的需要做配置：

[set]``#浏览器线程，建议不超过50，除非cpu和网络好``browser_thread=20``#输入文件名。文件内容每行一个url，放在input文件夹下``input_file=input.txt``#从输入文件的哪一行开始探测``read_index=1``   ``#探测时是否使用socks5代理``use_proxy=1``#访问谷歌翻译api是否需要使用代理``translate_using_proxy=1``   ``#是否需要谷歌翻译来翻译标题和高频词``need_tanslate=1``#是否需要开启高频词分析``need_word_freq=1``   ``#谷歌翻译api请求的超时时间``google_tran_api_timeout=30``#页面加载最长时间``set_page_load_timeout=30``   ``#代理服务器IP``proxy_server=127.0.0.1``#代理服务器端口``proxy_port=10809``   ``   ``   ``q_input_length=50``q_output_length=50

运行时先安装依赖：pip install -r requirements.txt

然后可直接执行：python whatscan.py

输出的word和excel保存在 output/<时间戳>下，如下图。

程序运行时，请勿打开xlsx或tmp下的word文件，以免最后合并文档时无法读取被office占用的文档。

若在程序运行时ctrl+c结束了程序，可能造成chrome进程意外留存，可执行项目目录下的kill-chrome.bat关闭本机所有chrome和chromedriver进程。

使用展示

excel

word

其中，“产品”对应的信息就是kscan的指纹识别结果。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

下载链接

https://pan.quark.cn/s/c9fb2735e1b0

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；
国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。