Scarpy 命令行工具

Scarpy 命令行工具

一、Scarpy 全局命令

　　scrapy startproject project_name     (创建项目)

　　scrapy crawl xx     （运行xxspider文件）

　　scrapy shell http://www.scrapyd.cn    (调试网址为http:www.scrapyd.cn的网站），

　　全局命令有如下几个：

startproject

genspider

settings

runspider

shell

fetch

view

version

二、Scarpy 项目命令

文件夹，按住shift，然后右键就会出现：在命令行打开

1. crawl
2. check
3. list
4. edit
5. parse
6. bench

1、crawl：运行蜘蛛

例：我们要运行name = scrapyd_cn的蜘蛛，我们可以这样：

scrapy crawl scrapyd_cn

2、check：检查蜘蛛

3、list：显示有多少个蜘蛛

这里的蜘蛛就是指spider文件夹下面xx.py文件中定义的name，你有10个py文件但是只有一个定义了蜘蛛的name，那只算一个蜘蛛，比如我们在：AoiSolas目录下运行这个命令：

scrapy list

得到的结果是：

F:\ScrapyProject\AoiSolas (master -> origin)
 # scrapy list
AoiSola

这就是它的使用方法，我们可以来看一下AoiSolas的文件结构：