Webクローラー--requestsは(コードを含むコミュニティ内のすべての書類を、クロールする)について説明し、それはそれを要求知りませんでした。


以前このブログには、あなたが持っている必要があり 、正規表現 ブラウザの迷彩 、関連する知識を理解していない場合は、左側のビューに青をクリックしてください。

リクエストのインストール

インストールの窓、+ R初勝利、CMDと入力しますが、コマンドラインを入力し、ステートメント入力ピップが要求インストール忍耐をすることができます。
直接入力文の下にLinuxをインストール要求インストールPIP忍耐をすることができます。
ここに画像を挿入説明

根拠を説明するよう要求

リクエストリクエストメソッド

requests请求方式主要有三种:get、post、put…

リクエストを使用するように要求します。

import requests
#get请求
res = requests.get("https://yq.aliyun.com/search/articles/")
#post请求
res = requests.post("链接")
//返回结果:网页源代码

表のパラメータを要求1

パラメータ パラメータの意味
テキスト 応答データを取得します
コンテンツ バイナリ形式で応答データをフェッチ
エンコーディング コーディングWebページを取得します
URL 現在の要求のURLを取得します
STATUS_CODE 現在のステータスコードを取得します。
クッキー クッキーの取得

パラメータを使用する要求:

import requests
#get请求
res = requests.get("https://yq.aliyun.com/search/articles/")
print(res.text)
//返回结果:"<!DOCTYPE html>······</html>"即源文件
print(res.content)
//返回结果:这咋说勒,就是上面文件的文字变成二进制格式了嘿嘿,如"\xe6\x90\x9……"
print(res.encoding)
//返回结果:"utf-8"
print(res.url)
//返回结果:"https://yq.aliyun.com/search/articles/"
print(res.status_code)
//返回结果:200#如果请求错了就会有什么404、505之类的
print(res.cookies)
//返回结果:"<Requests···n.com/>]>"就是你的cookies值

パラメータ表2に要求します

パラメータ パラメータの意味
params リクエストパラメータを取得します。
ヘッダ ヘッダ情報、迷彩ブラウザ
プロキシ エージェントを追加し、プロキシIPを追加
クッキー クッキー保存
データ 要求されたデータポストを保存します

使用へのリクエストパラメータ:
あなたは下のこちらをクリックしてください理解していなかった場合:該当するブラウザカモフラージュ爬虫類の知識を説明

import requests

//params用法#get请求的参数
getdata = {
    "q":key,
    "p":str(i + 1)
}
requests.get(url,params=getdata)

//headers用法#这里就是将headers伪装成浏览器
UA=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
requests.get("https://yq.aliyun.com/search/articles/",headers=UA)

要求は、実際のソースコードを受け取ります

あなたは少し半理解を感じる場合は、このブログを読んだ後、私は実際のプロジェクトに関連するいくつかの要求を行うことをお勧めします、コミュニティプロジェクトのソースコード内のすべての書類がクロールされ、受信するすべての人を歓迎!
ソースコードを受信するマイクロチャネル公共番号「プラウドプログラマ」返信「クローラ129」には、より多くの学習ビデオはああ、あなたを待っている〜
ここに画像を挿入説明
ここに画像を挿入説明

公開された10元の記事 ウォン称賛93 ビュー10000 +

おすすめ

転載: blog.csdn.net/xiaozhezhe0470/article/details/104219329