Centrarse en la idea de reptiles y paquetes de captura

# Ideas de diseño enfocado rastreador:
1. Determinar la url, iniciar una solicitud, la respuesta FETCH
# determinación url, la captura se ha completado, el proceso de solicitud de red, va a generar una gran cantidad de paquetes de datos, se añade a capturar todos los paquetes de datos, y Filtre los paquetes que contienen los datos de destino.
# Iniciar una solicitud: request.get (url, oarams, encabezados)
# encabezados: encabezados de solicitud, que es un diccionario
# parámetros: solicitar parámetros, un diccionario
# Obtener respuesta: res = request.get (), res es un objeto de respuesta, res .text La forma de texto de los datos de respuesta
2. Análisis de datos: extraer los datos de destino que queremos de los datos de respuesta
# 正
则 # xpath
3. Persistencia de datos
# Escribir un archivo, base de datos
# Capturar el paquete: en el proceso de solicitud de red

Supongo que te gusta

Origin www.cnblogs.com/zjldeboke/p/12757597.html
Recomendado
Clasificación