Scrapy 命令行

Scrapy 命令行

scrapy在cmd的命令,可在cmd输入scrapy来查看相关的指令

1.创建一个项目文件夹(像spider_sam,名字可自定义,这个时候会创建好除spider文件之外的所有配套文件)
scrapy startproject spider_sam
2.将路劲锁定到刚创建的文件夹(spider_sam在cfg文件所在的目录下)
cd spider_sam
3.生成spider文件(gen是generate生成的意思,可以这样生成,也可以自己在文件夹里创建,spiderx是爬虫的名字,不要和文件夹的名字相同。另外如有需要,在同一个项目里可以通过genspider的方式创建多个spider文件)
# example.com是爬虫可爬取的范围
scrapy genspider spiderx example.com
4.运行爬虫程序
scrapy crawl spiderx 

猜你喜欢

转载自blog.csdn.net/m0_50685012/article/details/112966710
今日推荐