El marco scrapy de Python realiza la recopilación de datos de una determinada marca

Una recopilación de datos de marca.

requisitos de cobranza

Dirección: http://www.winshangdata.com/brandList

Requisitos: utilice el marco scrapy para recopilar datos en este sitio, se deben capturar al menos 5 categorías y el volumen de datos requiere más de 5000

Campos de recopilación: título, hora de creación, método de apertura de la tienda, período de cooperación, requisitos del área

análisis web

Después de ingresar al sitio web, la página es la siguiente.

inserte la descripción de la imagen aquí

inserte la descripción de la imagen aquí

Abra f12 para cambiar a la columna de red, actualice la página web o haga clic en la página siguiente para obtener la solicitud

inserte la descripción de la imagen aquí

Al analizar los datos json devueltos, se encontró que solo se pueden obtener los requisitos de título y área que necesitamos.

inserte la descripción de la imagen aquí

inserte la descripción de la imagen aquí

Entonces necesitamos ingresar a la página de detalles de la página web para su análisis. Después de ingresar a la página de detalles, encontramos que los parámetros restantes que necesitamos están todos en la etiqueta li de la página web, por lo que podemos obtenerlos a través de XPath, etc., y la página web. salta

Supongo que te gusta

Origin blog.csdn.net/m0_46467017/article/details/131984551
Recomendado
Clasificación