恥ずかしい図 - 画像はクロール
主なアイデア
1.法律は、HTMLの便利な絵があるのホーム・ページを参照してください、家に帰ってきました
2.書き込み再抽出した画像パス
3.右の写真は、特定の要求パスの絵を見るために
全体画像要求路4
5.パス要求インターフェースの法則を見つけ、次の画面へのパスをチェック
6.work、マルチインタフェース指定画像クロール爬虫類
import requests
import re
import os
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
def get_page(page_size):
for i in range(1,page_size+1):
url = f"https://www.qiushibaike.com/pic/page/{i}/?s=5222080"
res=requests.get(url=url,headers=headers)
#解析图片路径
pic_list=re.findall('<div class="thumb">[\s\S]*?<img src="(.*?)" alt',res.text,re.S)
for i in pic_list:
i='https:'+i
pic_res=requests.get(url=i,headers=headers).content
file_name=i.split("/")[-1]
#图片数据写入本地文件夹
with open(f'pic/{file_name}',"wb")as fw:
fw.write(pic_res)
print(file_name+"写入成功")
if __name__ == '__main__':
if not os.path.exists("./pic"):
os.mkdir("./pic")
#自定义爬取界面页数
get_page(3)