Scrapy是Python语言的著名爬虫框架。废话少说,直入主题。
① win10安装Scrapy框架:
pip install scrapy
pip install pypiwin32
后面这个如果不安装的话,运行代码的时候可能会报错。
② 创建Scrapy项目:
scrapy startproject 项目名
③ 创建爬虫:
cd 项目目录
scrapy genspider 爬虫名 “要爬取的域名”
注意的是,一定要进入scrapy目录下才能创建爬虫。而且,域名要加上引号,不要加http或者https这样的协议名。
④运行爬虫:
scrapy crawl 爬虫名
也需要进入项目目录下。