win10下安装Scrapy框架和创建项目

Scrapy是Python语言的著名爬虫框架。废话少说,直入主题。

① win10安装Scrapy框架:

pip install scrapy
pip install pypiwin32

后面这个如果不安装的话,运行代码的时候可能会报错。

② 创建Scrapy项目:

scrapy startproject 项目名

③ 创建爬虫:

cd 项目目录
scrapy genspider 爬虫名 “要爬取的域名”

注意的是,一定要进入scrapy目录下才能创建爬虫。而且,域名要加上引号,不要加http或者https这样的协议名。

④运行爬虫:

scrapy crawl 爬虫名

也需要进入项目目录下。

猜你喜欢

转载自blog.csdn.net/Awt_FuDongLai/article/details/105895788