Die neueste und umfassendste Sammlung von Tools zur Erfassung von Web-Aufklärungsinformationen im Jahr 2023

Einführung

Projektadresse: https://github.com/killmonday/whatscan

Bei der Informationserfassung stoßen wir häufig auf folgende Probleme:

Unter den von Cyberspace-Suchmaschinen und vielen Scan-Tools wie kscan und fscan erkannten Web-Assets gibt es eine große Anzahl von Seiten mit den Statuscodes 302 und 200, die keine Titel haben und nicht identifiziert werden können. Einige Seiten haben tatsächlich keine Titel. Titel, aber bei mehr Seiten folgt der Scanner dem Sprung nicht und kann die letzte Seite nicht abrufen, sodass der Titel leer ist. Der Grund, warum die endgültige Seite nicht abgerufen werden kann, liegt darin, dass entweder der Statuscode nicht befolgt wird oder der Statuscode 200 ist, aber in den Seiten-JS ein Sprung gemacht wird. Da der Scanner die JS nicht rendern kann, kann er nicht verfolgt werden. Aus diesem Grund ist bei vielen Vermögenswerten unklar, was sie sind, geschweige denn, welche Eigenschaften sie haben.
Aufgrund des Sprachproblems des Aufgabenziels ist seine Natur oft nicht aus dem Seitentitel ersichtlich. Selbst wenn die Seite manuell geöffnet wird, muss sie übersetzt werden. Es ist schwierig zu beurteilen, ob eine Website zum Ziel gehört.
Ich habe eine große Anzahl von Zieldomänennamen und IPs erhalten und möchte das Ziel-C-Segment erkennen, um herauszufinden, ob Ziel-Assets vorhanden sind. Aber selbst wenn die Web-Assets erkannt werden, stehe ich immer noch vor den oben genannten Problemen 1 und 2 . Insgesamt ist es eine mühsame Aufgabe.

Um die oben genannten Probleme zu lösen, hat der Autor whatscan entwickelt, das Web-Scans, Screenshots, Titelübersetzungen, Hochfrequenz-Worterkennung und Webkomponentenerkennung von Batch-URLs durchführen und diese als Excel- und Word-Dokumente ausgeben kann überprüfte, organisierte und verfasste Berichte.

Unter anderem verwendet die Webkomponentenidentifizierung den 2,4-W-Web-Fingerabdruck von kscan. Die kscan.dll im Verzeichnis wird basierend auf dem kscan-Quellcode geändert und die go-Methode zum Aufrufen der lokalen Fingerabdruckidentifizierung (mit cgo) hinzugefügt. Sie wird in a kompiliert dll und dann in Python aufgerufen. Die exportierte Funktion in der DLL führt direkt die Fingerabdruckerkennung ohne unnötige sekundäre Erkennung durch. Der Fingerabdruck von kscan befindet sich in static\fingerprint.txt im Verzeichnis. Er kann angepasst und geändert sowie neue Fingerabdrücke hinzugefügt werden hat Skalierbarkeit (dank kscan ).

Insgesamt sind die Funktionen von whatscan wie folgt:

Identifizierung von Web-Assets (CMS/Anwendungskomponenten/Container/Programmiersprachen und andere Informationen)
Unterstützt das Erstellen von Screenshots von Websites
Unterstützt die Browsersimulation, um die Mängel gewöhnlicher Crawler zu beheben, die js nicht rendern können. Es kann js-Sprünge identifizieren und die echte Seite und den echten Titel abrufen.
Unterstützen Sie die Titelübersetzung (rufen Sie Google Translate auf, damit Sie die Mauer umgehen müssen)
Unterstützt das Extrahieren hochfrequenter Wörter aus Seiten und deren Übersetzung
Unterstützt die Analyse von IP-Domänennamen
Unterstützt den Export von Word-Dokumenten und Excel
Es ist geeignet, die Assets in mehreren C-Segmenten zu erkennen und zu sortieren, nachdem das C-Segment aus den Kern-Assets extrahiert wurde, um zu sehen, was vorhanden ist und ob es Assets gibt, die Aufmerksamkeit erfordern.

verwenden

Dieses Projekt verwendet Selenium, um Chrome-Treiber für den kopflosen Browserzugriff auszuleihen. Daher müssen Sie den Chrome-Browser installieren und https://chromedriver.chromium.org/downloads** besuchen, um die chromedriver.exe herunterzuladen, die der aktuellen Chrome-Version entspricht, und sie im Projektpfad zu platzieren**. Wenn die Version von chromedriver.exe nicht den Anforderungen entspricht, wird möglicherweise eine Vollbildausnahme gemeldet, sobald es ausgeführt wird. Es sieht möglicherweise so aus, als ob es ausgeführt wird, aber in Wirklichkeit ist es nutzlos. Sie müssen trotzdem auf die richtige Version wechseln.

Ändern Sie vor dem Ausführen die Datei config.ini im aktuellen Verzeichnis und konfigurieren Sie sie entsprechend Ihren Anforderungen:

[set]``#浏览器线程，建议不超过50，除非cpu和网络好``browser_thread=20``#输入文件名。文件内容每行一个url，放在input文件夹下``input_file=input.txt``#从输入文件的哪一行开始探测``read_index=1``   ``#探测时是否使用socks5代理``use_proxy=1``#访问谷歌翻译api是否需要使用代理``translate_using_proxy=1``   ``#是否需要谷歌翻译来翻译标题和高频词``need_tanslate=1``#是否需要开启高频词分析``need_word_freq=1``   ``#谷歌翻译api请求的超时时间``google_tran_api_timeout=30``#页面加载最长时间``set_page_load_timeout=30``   ``#代理服务器IP``proxy_server=127.0.0.1``#代理服务器端口``proxy_port=10809``   ``   ``   ``q_input_length=50``q_output_length=50

Installieren Sie zuerst die Abhängigkeiten, wenn Sie Folgendes ausführen: pip install -r require.txt

Dann können Sie es direkt ausführen: python whatscan.py

Das Ausgabewort und das Excel werden unter Ausgabe/<Zeitstempel> gespeichert, wie unten gezeigt.

Fügen Sie hier eine Bildbeschreibung ein

Öffnen Sie bei laufendem Programm keine Word-Dateien unter xlsx oder tmp, um zu vermeiden, dass Sie beim Zusammenführen von Dokumenten am Ende die vom Büro belegten Dokumente nicht lesen können.

Wenn Strg+C das Programm während der Ausführung beendet, bleibt der Chrome-Prozess möglicherweise unerwartet erhalten. Sie können kill-chrome.bat im Projektverzeichnis ausführen, um alle Chrome- und Chromedriver-Prozesse auf dem Computer zu schließen.

Display verwenden