Scrapy——基本命令

命令的使用范围

这里的命令分为全局的命令和项目的命令,全局的命令表示可以在任何地方使用,而项目的命令只能在项目目录下使用

全局的命令有:

startproject

genspider

settings

runspider

shell

fetch

view

version

扫描二维码关注公众号,回复: 7903813 查看本文章

项目命令有:

crawl

check

list

edit

parse

bench

startproject

这个命令没什么过多的用法,就是在创建爬虫项目的时候用

scrapy startproject movie

genspider

用于生成爬虫,这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令scrapy genspider -l查看所有的模板,当我们创建的时候可以指定模板,不指定默认用的basic,如果想要指定模板则通过,命令:

cd movie

scrapy genspider meiju meijutt.com

crawl

这个是用去启动spider爬虫格式为:

scrapy crawl 爬虫名字(meiju)

这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的

check

用于检查代码是否有错误

scrapy check

list

列出所有可用的爬虫

scrapy list

fetch

scrapy fetch url地址 

该命令会通过scrapy downloader 将网页的源代码下载下来并显示出来

这里有一些参数:

--nolog 不打印日志

--headers 打印响应头信息

--no-redirect 不做跳转

view

scrapy view url地址

该命令会讲网页document内容下载下来,并且在浏览器显示出来

因为现在很多网站的数据都是通过ajax请求来加载的,这个时候直接通过requests请求是无法获取我们想要的数据,所以这个view命令可以帮助我们很好的判断

shell

这是一个命令行交互模式

通过scrapy shell url地址进入交互模式

这里我么可以通过css选择器以及xpath选择器获取我们想要的内容(xpath以及css选择的用法会在下个文章中详细说明),例如我们通过scrapy shell http://www.baidu.com

settings

获取当前的配置信息

通过scrapy settings -h可以获取这个命令的所有帮助信息

如:scrapy settings --get=MYSQL_HOST

runspider

这个和通过crawl启动爬虫不同,这里是scrapy runspider 爬虫文件名称

所有的爬虫文件都是在项目目录下的spiders文件夹中

version

查看版本信息,并查看依赖库的信息

scrapy version

 

猜你喜欢

转载自www.cnblogs.com/lanston1/p/11886722.html