Aprendizaje basado en cero Python|Aprendizaje avanzado de Python: caso de aplicación del marco de trabajo del rastreador de Scrapy

Página de inicio del autor: Programación de las mil grullas de papel

Sobre el autor: Java, front-end y Python se han desarrollado durante muchos años y han trabajado como ingeniero senior, gerente de proyectos y arquitecto.

Contenido principal: desarrollo de proyectos Java, desarrollo de diseño de graduación, acuerdo de tecnología de entrevistas, uso compartido de la última tecnología

Favoritos, likes, no se pierdan, es bueno seguir al autor

Obtenga el código fuente al final del artículo

Prefacio:

Este artículo diseña principalmente dos casos para rastrear datos del sitio web de películas de Douban y datos de noticias de Sina sobre la base del aprendizaje previo del marco de trabajo del rastreador de Python, y almacena los datos rastreados en la tabla de datos de Mysql. Los dos casos se refieren a los casos de código abierto de dos bloggers de CSDN para su mejora y uso. Espero que sea útil para todos aprender el marco de trabajo del rastreador Scrpay. La versión de Python3.8 utilizada esta vez, para evitar excepciones, mantenga la versión consistente. Si necesita el código fuente de los dos casos, consígalo gratis sin consultar el siguiente texto.

1. Caso 1

Este caso se refiere al caso escrito por el bloguero de CSDN "Qing Feng Drunk Rain", y rastreó los datos de la película Douban top250, ¡gracias aquí!

Pasos de implementación del caso:

1. Cree un proyecto Scrapy: ingrese la línea de comando cmd para ejecutar

 scrapy startproject doubanmovie

2. Definir artículo

Item es un contenedor para datos rastreados; su uso es similar al de un diccionario de Python y proporciona almacenamiento adicional