python3 scrapy爬虫进行爬取数据存入MySQL数据库

 在python3.x 一般使用 pymysql 这个库进行连接 MySQL数据库【但是注意:这个库只是一个python3  与 mysql间的连接工具,仍需要电脑上安装 mysql server 然后才能用】。安装 PyMySQL可以使用 pip install pymysql 进行直接安装。使用以下代码进行测试:


结果为:


下面介绍使用 Scrapy 爬虫框架进行爬取数据,然后存入 mysql 数据库

这里的实验网站为:http://quotes.toscrape.com/

使用命令 scrapy startproject  ttttt (文件夹名称) 创建一个scrapy项目,项目如下:


这里在文件夹下的 items.py 进行写 Item 文件 :


这里写一个 Spider 文件,用来爬取数据:

扫描二维码关注公众号,回复: 1510145 查看本文章

在 piplines.py这个文件里进行写管道函数,连接数据库,处理SQL语句:


配置文件 settings.py:


命令行进入 spiders 文件夹 进行执行:scrapy crawl quote 

就会发现数据已经存入了数据库。

猜你喜欢

转载自blog.csdn.net/qq_29750461/article/details/80495620