Requests モジュールは Python のサードパーティ パッケージであり、これも Python の urllib に基づいて記述されています。その役割は、ブラウザをシミュレートしてネットワーク リクエストを行うことです。
リクエストの特徴
- 強力な
- シンプルで便利
- 効率的
リクエストのインストール
サードパーティのパッケージなのでインストールする必要があります。インストール方法は他のパッケージと同様に pip コマンドを使用してインストールします。
pipインストールリクエスト
リクエストの使用
リクエストの使用は主に 3 つのステップに分かれています。
- リクエストする必要がある URL アドレスを見つけます
- ブラウザをシミュレートしてリクエストを開始します
- 対応するデータを取得する
プロパティ/メソッドの導入をリクエストする
| delete( url , args ) | 指定された URL に DELETE リクエストを送信します |
| get( url , params , args ) | 指定された URL に GET リクエストを送信します |
| head( url , args ) | 指定された URL に HEAD リクエストを送信します |
| patch( url , data, args ) | 指定された URL に PATCH リクエストを送信します |
| post( url , データ , json , args ) | 指定された URL に POST リクエストを送信します |
| put( url , データ, 引数) | 指定された URL に PUT リクエストを送信します |
| request(メソッド, URL , 引数) | 指定されたリクエストメソッドを指定されたURLに送信します |
リクエストインスタンス
例: リクエストを使用して、Douban Movies のトップ 100 の映画コンテンツを取得するリクエストをシミュレートします。
1. Douban でドラマとして分類されているリーダーボードのアドレスを見つけます。
ここでは、次の図に示すように、開発者ツールを使用して URL アドレスを見つけます。
2. ブラウザをシミュレートしてリクエストを開始します
リクエストヘッダーの User-Agent でユーザー ID を見つけます。
要求されたパラメータを見つける
3. コードを使用してリクエストをシミュレートし、データを取得します
import json
import request
# リクエストする URL アドレス
url = "https://movie.douban.com/j/chart/top_list"
# シミュレーションリクエストヘッダ
header = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0) ; Win64; x64) AppleWebKit/537.36 (Gecko のような KHTML) Chrome/103.0.0.0 Safari/537.36'
} # データは
range(5) の i の
ページネーションによって要求されます:
print("ページ %d のデータを取得します\n" % i)
# シミュレートされたリクエストのパラメーター
param = {
'type': '11',
'interval_id': '100:90',
'action': '',
'start': i*20,
'limit': '20 '
}
# リクエストの送信をシミュレートする
rq =requests.get(url=url, params=param,ヘッダー=ヘッダー)headers=header)
# リクエスト結果を取得し、ファイルに保存します
open('result.html', 'a', encoding='utf-8') as f:
list_result = rq.json()
f.write(f"第{i}页数据\n"+json.dumps) (list_result, ensure_ascii=False)+'\n')