Scrapy的常用命令
Scrapy是为持续运行设计的专用爬虫框架，提供操作的Scrapy命令行
Scrapy命令行格式
>scrapy<command>[options][args]
command:Scrapy命令
Scrapy常用命令
- startproject
- 说明：创建一个新工程
- 格式：scrapy startproject <name>[dir]
- genspider
- 创建一个爬虫
- scrapy genspider[options]<name><domain>
- settings
- 获得爬虫配置信息
- scrapy settings[options]
- crawl
- 运行一个爬虫
- scrapy crawl<spider>
- list
- 列出工程中所有爬虫
- scrapy list
- shell
- 启动URL调试命令行
- scrapy shell [url]
Scrapy爬虫的命令行逻辑
为什么Scrapy采用命令行创建和运行爬虫？ * 命令行（不是图形界面）更容易自动化，适合脚本控制。 * 本质上，Scrapy是给程序员用的，功能（而不是界面）更重要。