【scrapy】scrapy常用命令

scrapy常用命令

好久没写爬虫了,上一次写爬虫,还是2年前了,最近复习下。

创建项目

startproject 用于创建项目的命令

scrapy startproject myproject [project_dir]

这将在project_dir 目录下创建一个Scrapy项目。 如果未指定project_dir ,则project_dir将与myproject相同。

接下来,进入新项目目录:

cd project_dir

这句话的意思是,如果有project_dir, 那么项目路径就是.\project_dir\myproject , 如果没有,项目路径就是.\myproject

创建爬虫

genspider 用于创建爬虫的命令

scrapy genspider mydomain mydomain.com

mydomain spider的文件名
mydomain.com 这个是爬虫指定的域名

开始爬取(爬虫)

crawl说白了这个命令就是执行爬虫

scrapy crawl myspider

runspider

无需创建项目即可运行包含在Python文件中的spider程序。

scrapy runspider myspider.py

总结

这些都是比较常用的命令,先记录这些,后续再补充

Supongo que te gusta

Origin blog.csdn.net/myt2000/article/details/130482412
Recomendado
Clasificación