1：创建scrapy项目
scrapy startproject XXXXXX
2：进入项目目录
cd XXXX
3：生成spider
scrapy genspider baidu www.baidu.com
4：列出创建spider所有可用模板
scrapy genspider -l
5：指定模板生成spider
scrapy genspider -t crawl zhihu www.zhihu.com
6：运行spider
scrapy crawl spider
7：检查语法是否有错误
scrapy check
8：返回所有spider的名称
scrapy list
9：测试爬取速度
scrapy bench
10：爬取结果输出到指定文件
scrapy crawl quotes -o quotes.csv
scrapy命令行详解
猜你喜欢
转载自blog.csdn.net/qq_29186489/article/details/78782497
今日推荐
周排行