Pythonクローラー5の使用を開始する:ブラウザーをシミュレートしてWebサイトにアクセスします

☞░GoLaoYuanPythonはhttps://blog.csdn.net/LaoYuanPythonブログ

I.はじめに

前の2つのセクションでは、GoogleブラウザーとIEブラウザーを使用してWebサイト訪問のhttp関連メッセージ情報を取得する方法を紹介しました。このセクションでは、取得した情報を使用してPythonアプリケーションでHTTPアクセスメッセージヘッダーを作成し、ブラウザー訪問をシミュレートする方法を紹介します。ウェブサイト。このセクションで取得する情報は、Googleブラウザで取得したhttp情報に基づいています。これは、GoogleブラウザのアクセスをシミュレートしてWebサイトにアクセスするアプリケーションに相当します。IEの原理は同じであり、自分で処理できます。 。

2.ブラウザからhttpリクエストメッセージのヘッダー情報を取得します

https://blog.csdn.net/LaoYuanPython/article/details/113055084Pythonクローラー3:Googleブラウザを使用してWebサイト訪問のhttp情報を取得する」で紹介されている方法を使用して訪問したWebサイトのhttp要求ヘッダー情報をコピーします。そして訪問を使用するhttps://blog.csdn.net/LaoYuanPython実施例により得られた要求ヘッダの内容として、以下のように(クッキー情報の一部のみが撮影され、省略記号で置き換え)です。

:authority: blog.csdn.net
:method: GET
:path: /LaoYuanPython
:scheme: https
accept: text/html,application/xht

おすすめ

転載: blog.csdn.net/LaoYuanPython/article/details/113063101