scrapy常用命令
好久没写爬虫了,上一次写爬虫,还是2年前了,最近复习下。
创建项目
startproject
用于创建项目的命令
scrapy startproject myproject [project_dir]
这将在project_dir 目录下创建一个Scrapy项目。 如果未指定project_dir
,则project_dir
将与myproject
相同。
接下来,进入新项目目录:
cd project_dir
这句话的意思是,如果有project_dir
, 那么项目路径就是.\project_dir\myproject
, 如果没有,项目路径就是.\myproject
。
创建爬虫
genspider
用于创建爬虫的命令
scrapy genspider mydomain mydomain.com
mydomain
是spider
的文件名
mydomain.com
这个是爬虫指定的域名
开始爬取(爬虫)
crawl
说白了这个命令就是执行爬虫
scrapy crawl myspider
runspider
无需创建项目即可运行包含在Python文件中的spider
程序。
scrapy runspider myspider.py
总结
这些都是比较常用的命令,先记录这些,后续再补充