La vida es corta, uso python y hoy rastrearé la imagen de Baidu.
Objetivo
Requisito: imagen de Baidu , ingrese palabras clave para descargar la imagen
Pre-ambiente
1> entorno pitón
2>Instalar el paquete de solicitudes
python install requests
Código de implementación
Paso 1: analice si la imagen de Baidu obtiene datos de la página html o ajax
A partir del código fuente anterior, se realiza mediante el método ajax, es decir: primero inicie una solicitud asincrónica para obtener datos y luego use el método js para cargarlo en la página.
Abra F12 y verifique:
Paso 2: analiza las reglas de las solicitudes ajax
Actualice la página, desplácese por la página, inicie varias solicitudes ajax y analice el patrón de solicitud
relacionado con
Palabra clave: word=belleza&queryWord=belleza
Relacionado con la paginación: pn es el desplazamiento de los datos de paginación, rn significa que la página actual muestra 30 datos
Primera página: &pn=30&rn=30
Segunda página: &pn=60&rn=30
Tercera página: &pn=90&rn=30
Cuarta página: &pn=120&rn=30
Paso 3: analizar patrones de datos de respuesta
La solicitud anterior obtuvo los datos.
Seleccionar datos para expandir
Paso 4: Implementación del código
Ideas:
1> Personalice la URL inicial de la imagen (ruta de la página) que se rastreará
2> Obtenga los datos json de la imagen a través de la URL inicial (datos paginados: 30 elementos por página)
3> Análisis de datos json de imágenes
4> atravesar para descargar imágenes y guardar
todos los códigos
#coding=utf-8
import requests
import time
import json
import uuid
import random
import os
# 定义类
class BaiduImage(object):
# 构造器, kw:关键字 page_no:抓几页图片 path:图片保存路径
def __init__(self, kw, page_no, path):
# 分页路径目标
url_template = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=9074274472030331556&ipn=rj&ct=201326592&is=&fp=result&fr=&word={}&cg=girl&queryWord={}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=©right=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn={}&rn={}&gsm=1e&{}='
# 将需要抓取的分页url,一次性配置出来
self.urls = [url_template.format(kw, kw, i*30, 30, time.time()) for i in range(1, page_no+1)]
# 模拟浏览器访问
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
# 图片路径保存
self.path = path
# 判断路径是否存在,不存在创建
if not os.path.exists(path):
os.makedirs(path)
# 根据url获取数据
def get_data(self, url):
resp = requests.get(url, headers=self.headers)
return resp.content.decode()
# 解析ajax请求返回的图片json数据
def pasre_data(self, data):
# 解析json为dict
dict_data = json.loads(data)
data_list = []
# 遍历解析所有图片url,统一缓存在集合中
for img_data in dict_data['data']:
if 'thumbURL' in img_data:
# data_list.append(img_data['replaceUrl'][0]['ObjURL']) # 真实图片地址,不能保证能打开
data_list.append(img_data['thumbURL']) # 百度缓存地址,所见所得
return data_list
# 指定url地址图片,保存到指定目录夹中
def image_download(self, url):
# 写二进制文件,文件名使用uuid
with open(path + str(uuid.uuid1()) + ".jpg", 'wb') as f:
# 下载图片,写流
img = requests.get(url, headers=self.headers).content
f.write(img)
# 图片下载
def save_data(self, data_list):
for ul in data_list:
self.image_download(ul)
# 防止百度判定为爬虫,间隔时间发起请求
time.sleep(round(random.uniform(0.001, 0.01), 3))
# 执行
def run(self):
for num in range(len(self.urls)):
print(f'---------第{(num+1)}页图片-----------')
data = self.get_data(self.urls[num])
data_list = self.pasre_data(data)
self.save_data(data_list)
time.sleep(round(random.uniform(0.001, 0.01), 3))
# 程序入口
if __name__ == '__main__':
kw = '美女'
page_no = 10
path = "D:/images/"
baidu = BaiduImage(kw, page_no,path)
baidu.run()
resultado de la operación