python爬虫scrapy比较常用的三个命令

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ansu2009/article/details/80512962
scrapy命令有哪些,其实灰常少,也就十四五个,在这十四五个中,常用的就纳么两三个而已,如:

scrapy startproject XXX(创建项目)、

scrapy genspider XX (创建XX蜘蛛)

scrapy crawl XX(运行XX蜘蛛)、

scrapy shell http://www.163.com(调试网址为http://www.163.com的网站)

1、startproject 创建项目命令:

      这个是见得最多,创建项目的,如,创建一个名为:taobao的项目:

scrapy strartproject taobao

2、genspider 创建蜘蛛命令:

cd进入startproject 创建的项目,然后运行genspider 命令创建进行爬取的蜘蛛,这个命令的话是根据蜘蛛模板创建蜘蛛的命令,如,创建一个爬取店铺的蜘蛛

scrapy genspider shop

3、crawl 命令是运行创建的蜘蛛:

scrapy crawl shop

4、shell蜘蛛调试工具:

这个命令比较重要,主要是调试用,比如我们要调试http://www.taobao.com,看我们的选择器到底有木有正确选中某个元素,那我们就可以这样来玩,首先用调试打开:http://www.taobao.com:

scrapy shell http://www.163.com

然后我们可以直接执行命令,response,比如我们要测试我们获取标题的选择器正不正确,我们可以这样:

response.css("title::text").extract_first()

猜你喜欢

转载自blog.csdn.net/ansu2009/article/details/80512962