"Möchten Sie Python-Crawler-Serien lernen?" Einführung in die Verwendung von Chrome in Crawlern

Lernziel

Verstehen Sie den Zweck des Erstellens eines neuen Inkognito-Fensters
Verstehen Sie die Verwendung des Netzwerks in Chrome
Erfahren Sie, wie Sie die Anmeldeschnittstelle finden

1 Erstellen Sie ein neues Inkognito-Fenster

Öffnen Sie die Website direkt im Browser. Es wird automatisch das auf der vorherigen Website gespeicherte Cookie angezeigt. Wenn die Seite jedoch zum ersten Mal im Crawler abgerufen wird, wird das Cookie nicht angezeigt. Wie kann diese Situation gelöst werden?

Verwenden Sie ein Inkognito-Fenster, um die Website zum ersten Mal ohne Cookies zu öffnen und die Erfassung der Seite zu beobachten, einschließlich der Art und Weise, wie der Server des anderen Teilnehmers das Cookie lokal setzt

2 Weitere Funktionen des Netzwerks in Chrom

2.1 Protokoll beibehalten

Standardmäßig verschwinden nach der Umleitung der Seite die URL der vorherigen Anforderungs-URL und andere Informationen, und die vorherige Anforderung wird beibehalten, nachdem das Protokoll zum Speichern beibehalten wurde.

2.2 Filter

Wenn viele URL-Adressen vorhanden sind, können Sie einen Teil der URL-Adresse in den Filter eingeben, um einen bestimmten Filtereffekt auf alle URL-Adressen zu erzielen. Die spezifische Position befindet sich im zweiten Bild oben an der Position 2.

2.3 Beobachten Sie bestimmte Arten von Anforderungen

An der Position 3 im zweiten Bild oben gibt es viele Optionen, die standardmäßig ausgewählt sind, dh allalle Arten von Anforderungen werden beobachtet

Oft können Sie allrechts andere Optionen für Ihre eigenen Zwecke auswählen , z. B. allgemeine Optionen:

XHR: In den meisten Fällen handelt es sich um eine Ajax-Anfrage
JS: js Anfrage
CSS: CSS-Anfrage

Oft können wir jedoch nicht garantieren, welche Art von Anfrage wir benötigen, insbesondere wenn wir nicht wissen, ob es sich bei einer Anfrage um eine Ajax-Anfrage handelt all. Wählen Sie sie einfach direkt aus und beobachten Sie sie von vorne nach hinten. etc. sind nicht zu beachten. können

Haben Sie keine Angst vor den zahlreichen Anfragen im Browser. Außer js, css und Bildanfragen gibt es nicht viele andere Anfragen.

3 Suchen Sie die Anmeldeschnittstelle

Rückblickend auf die vorherigen Crawler von Renren.com haben wir eine Anmeldeschnittstelle gefunden. Wo haben wir diese Schnittstelle gefunden?

http://www.renren.com

3.1 Suchen Sie die URL-Adresse des Aktionspaars

Es kann festgestellt werden, dass diese Adresse die URL-Adresse ist, die der Aktion im Anmeldeformular entspricht. Wenn Sie die Front-End-Wissenspunkte überprüfen, können Sie feststellen, dass die Adresse für die Formularübermittlung, entsprechend die übermittelten Daten, nur Folgendes benötigt:用户名的input标签中，name的值作为键，用户名作为值，密码的input标签中，name的值作为键，密码作为值即可

Denken:

Was kann ich tun, wenn der Aktion keine URL-Adresse entspricht?

3.2 Ermitteln der Anmelde-URL-Adresse durch Erfassen von Paketen

Durch Erfassen des Pakets können Sie feststellen, dass die URL-Adresse und der Anforderungshauptteil Parameter enthalten, z. B. uniqueTimestampSumme rkeyund verschlüsseltpassword

Zu diesem Zeitpunkt können wir beobachten, ob die Anmeldeschnittstelle der mobilen Version identisch ist

Es kann festgestellt werden, dass es in der mobilen Version noch Parameter gibt, die Anzahl der Parameter jedoch geringer ist. Derzeit können wir die mobile Version als Referenz verwenden. Im nächsten Abschnitt erfahren Sie, wie Sie js analysieren

Zusammenfassung

Der Hauptzweck der Verwendung eines Inkognito-Fensters besteht darin, das Problem des Tragens von Cookies beim erstmaligen Öffnen der Website zu vermeiden
Im Chrome-Netzwerk kann die Option "Protokoll beibehalten" die vorherige Anforderung nach dem Springen der Seite weiterhin beobachten.
Es gibt zwei Möglichkeiten, die Anmeldeadresse zu ermitteln:
- Suchen Sie die URL-Adresse der Aktion from form
- Holen Sie sich durch die Paketerfassung