記事ディレクトリ
シリーズ記事インデックス
Python クローラーの基礎 (1): urllib ライブラリの使用方法の詳細な説明
Python クローラーの基礎 (2): xpath と jsonpath を使用してクロールされたデータを解析する
Python クローラーの基礎 (3): Selenium を使用して Web ページを動的に読み込む
Python クローラーの基礎 (4) ：Pythonクローラーをもっと便利に使う リクエストライブラリの基礎
（５）：Scrapyフレームワークの使い方
1.リクエストライブラリの利用
リクエスト ライブラリは、ネットワーク リソースにアクセスするために Python 言語で書かれたサードパーティ ライブラリで、urllib をベースとしていますが、urllib よりもシンプルで便利で使いやすいものです。リクエスト ライブラリは、HTML Web ページを自動的にクロールし、サーバーへの人間のアクセスをシミュレートしてネットワーク リクエストを自動的に送信するのに役立ちます。
使用する場合はurllibとの比較に注意してください。
1.公的書類
公式ドキュメント:
https://requests.readthedocs.io/projects/cn/zh_CN/latest/
すぐに始めましょう:
https://requests.readthedocs.io/projects/cn/zh_CN/latest/user/quickstart.html
2.リクエストライブラリをインストールする
# 进入到python安装目录的Scripts目录
d:
cd D:\python\Scripts
# 安装
pip install requests -i https://pypi.douban.com/simple
3. 使い方が簡単
import requests
url = 'http://www.baidu.com'
response = requests.get(url=url)
# 一个类型和六个属性
# Response类型：<class 'requests.models.Response'>
print(type(response))
# 设置响应的编码格式
response.encoding = 'utf-8'
# 以字符串的形式来返回了网页的源码
print(response.text)
# 返回一个url地址
print(response.url)
# 返回的是二进制的数据
print(response.content)
# 返回响应的状态码
print(response.status_code)
# 返回的是响应头
print(response.headers)
4. getリクエストを使用する
概要:
(1) パラメータは params を使用して渡されます
(2) パラメータは urlencode エンコーディングを必要としません
(3) リクエスト オブジェクトのカスタマイズは必要ありません
(4) リクエスト リソース パスに疑問符はありますか? 追加しても追加しなくても構いません。
import requests
url = 'https://www.baidu.com/s'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
data = {
'wd':'北京'
}
# url 请求资源路径
# params 参数
# kwargs 字典
response = requests.get(url=url,params=data,headers=headers)
content = response.text
print(content)
5.ポストリクエストを使用する
概要:
(1) Post リクエストにはエンコードとデコードは必要ありません
(2) Post リクエストのパラメータはデータです
(3) リクエスト オブジェクトのカスタマイズは必要ありません
import requests
url = 'https://fanyi.baidu.com/sug'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
data = {
'kw': 'eye'
}
# url 请求地址
# data 请求参数
# kwargs 字典
response = requests.post(url=url,data=data,headers=headers)
content =response.text
print(content)
import json
obj = json.loads(content)
print(obj)
6. プロキシを使用する
import requests
url = 'http://www.baidu.com/s?'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
}
data = {
'wd':'ip'
}
proxy = {
'http':'212.129.251.55:16816'
}
response = requests.get(url = url,params=data,headers = headers,proxies = proxy)
content = response.text
with open('daili.html','w',encoding='utf-8')as fp:
fp.write(content)
2.実戦
1.実戦：古詩サイトにログイン
(1) ログインページを見つける
古代詩の Web サイトにアクセスします。https://www.gushiwen.cn/
[My] をクリックしてログイン ページに入りますhttps://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx。
# 获取登录页的源码
import requests
# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
# 获取页面的源码
response = requests.get(url = url,headers = headers)
content = response.text
次に行う必要があるのは、この Web サイトにログインするためにどのようなデータが必要かを確認することです。
(2) ログイン操作に必要なデータ
ログイン インターフェイスを呼び出すために必要なデータを判断するために、間違った確認コードを入力しました。
ログインにはユーザー名、パスワード、確認コードが必要であることは誰もが知っています。
さらに、from および denlu フォーム フィールドはハードコーディングされているように見えます。
ただし、__VIEWSTATE と __VIEWSTATEGENERATOR は動的に生成されているように見えます。
(3) 隠しドメインのデータを取得する
右クリック -> Web ページのソース コードを表示し、グローバルに検索すると、__VIEWSTATE と __VIEWSTATEGENERATOR がページの非表示フィールドに保存されているデータであることがわかります。通常、表示できないデータはページのソース コードにあるため、ページのソース コードを取得する必要があるので、それを解析することで取得できます。
# 解析页面源码 然后获取_VIEWSTATE __VIEWSTATEGENERATOR
# 我们此处用bs4进行解析
from bs4 import BeautifulSoup
soup = BeautifulSoup(content,'lxml')
# 获取_VIEWSTATE的值
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')
print('获取__VIEWSTATE：' + viewstate)
# 获取__VIEWSTATEGENERATOR的值
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')
print('获取__VIEWSTATEGENERATOR：' + viewstategenerator)
(4) 認証コードの画像を取得する
イメージのアドレスは次のとおりであることがわかりましたhttps://so.gushiwen.cn/RandCode.ashx。これは更新されるたびに異なる検証コード イメージです。
ここでは、リクエストを通じて直接取得できない検証コード イメージを取得します。各リクエストのセッションが接続されていることを確認する必要があるため、セッションを通じて検証コード イメージを取得する必要があります。
# 获取验证码图片
code = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn' + code
# 有坑，需要使用session进行验证码的获取
# import urllib.request
# urllib.request.urlretrieve(url=code_url,filename='code.jpg')
# requests里面有一个方法 session（） 通过session的返回值 就能使用请求变成一个对象
session = requests.session()
# 验证码的url的内容
response_code = session.get(code_url)
# 注意此时要使用二进制数据 因为我们要使用的是图片的下载
content_code = response_code.content
# wb的模式就是将二进制数据写入到文件
with open('code.jpg','wb')as fp:
fp.write(content_code)
# 获取了验证码的图片之后 下载到本地 然后观察验证码 观察之后 然后在控制台输入这个验证码 就可以将这个值给
# code的参数 就可以登陆
code_name = input('请输入你的验证码')
確認コードをローカルに保存し、ログイン時に確認コードを確認して入力します。
(5) ログイン操作
すべてのデータを取得したら、データを組み立ててログイン インターフェイスのポスト リクエストを呼び出します。
# 点击登陆
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data_post = {
'__VIEWSTATE': viewstate,
'__VIEWSTATEGENERATOR': viewstategenerator,
'from': 'http://so.gushiwen.cn/user/collect.aspx',
'email': '', # 用户名
'pwd': '', # 密码
'code': code_name,
'denglu': '登录',
}
response_post = session.post(url = url, headers = headers, data = data_post)
content_post = response_post.text
with open('gushiwen.html','w',encoding= ' utf-8')as fp:
fp.write(content_post)
(6) 私のコレクションを手に入れよう
ログイン後、同じセッションを使用するだけで私のすべての情報を取得できます。
# 获取我的收藏
collect_url = 'https://so.gushiwen.cn/user/collect.aspx?sort=t'
collect_info = session.get(url = collect_url)
collect_context = collect_info.text
with open('collect.html','w',encoding= ' utf-8')as fp:
fp.write(content_post)
2. 実戦：スーパーイーグル認証コードを使用して自動識別
(1)スーパーイーグル公式サイト
http://www.chaojiying.com/
価格: http://www.chaojiying.com/price.html
(2) ダウンロード
[開発ドキュメント] をクリック:http://www.chaojiying.com/api-14.html
ダウンロードが完了すると、サンプルが表示されます。自動画像認識を実現するには、その API を使用するだけです。
