使用scrapy框架搭建爬虫的方法

scrapy框架搭建爬虫的方法

1.安装scrapy框架,使用命令pip install scrapy

在这里插入图片描述

2.遇到如下报错信息,进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件

在这里插入图片描述

3.安装Twisted,pip install 后面跟的是刚才下载文件的路径

在这里插入图片描述

4.执行代码 ( scrapy startproject 项目名称)

在这里插入图片描述

5.using template director:是scrapy内置的一个框架模板

在这里插入图片描述

6.进入到项目文件夹中,创建爬虫文件

在这里插入图片描述

7.爬虫项目搭建完成,下面运行爬虫项目
8.通过cmd爬虫项目
命令:scrapy crawl baidu(爬虫名称

9。执行执行以上代码有可能会报错

在这里插入图片描述

只需要安装pypiwin32包即可解决,使用 pip install pypiwin32
然后再执行命令::scrapy crawl baidu(爬虫名称)

10.或者可以在项目根目录创建debug.py文件并写上如图所示的代码,保存并运行即可启动项目

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/fcy8023/article/details/82764852