scrapyd部署(远程管理爬虫项目)

1. 需要安装scrapyd=1.2.0     scrapyd-client=1.2.0a1

首先进入虚拟环境

 

2. 启动scrapyd服务

3.  配置爬虫项目:

 4.开始向scrapyd中部署

 查看当前可用于部署到scrapyd 服务中的爬虫有哪些

参数1:[deploy:jobbole]

参数2:scrapy.cfg文件中的url

 命令scrapy list 用来查看当前项目中可用的项目

 

 参数:

部署成功

列举scrapyd已经部署的爬虫项目

如果提示不能运行curl命令则需要安装cmder来运行

(curl配置说明:https://www.cnblogs.com/zhuzhenwei918/p/6781314.html

 查看项目信息:

 删除项目:

 启动爬虫:

在网页查看

 取消任务的执行:

命令可以在文档查看

 

猜你喜欢

转载自blog.csdn.net/weixin_42336579/article/details/81097562