Gerapy分布式爬虫管理框架

一,介绍

Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。

二,gerapy的初始化配置:

  1. 安装gerapy框架。(注意要先用命令进入虚拟环境)

       命令:pip install gerapy

     2.检查gerapy是否可用。

      命令:gerapy

      

      证明可用

     3. 初始化gerapy,生成gerapy框架的工作目录。(在哪初始化,工作目录就创建在哪。初始化完成,进入gerapy文件夹,会有一个projects文件夹。)

      命令: gerapy init

    4.先进入gerapy目录,再执行gerapy数据库的初始化,建立相关的数据库表。

命令:cd gerapy

           gerapy migrate

       

    5.在gerapy目录下,启动gerapy服务,默认在8000端口。

        命令:gerapy runserver

       

  6.打开浏览器,输入:http://localhost:8000,可以看到 Gerapy 的主界面。

 7.完成以上步骤,说明gerapy初始化成功了。但是现在还没有添加主机和项目,所有的主机数量和项目数量都是0。

三、配置gerapy的主机

  1.  点击左侧 Clients 选项卡,即主机管理页面,添加我们的 Scrapyd 远程服务,点击右上角的创建按钮即可添加我们需要管理的 Scrapyd 服务。
  2. 在cmd中,开启scrapyd服务。(如果scrapyd在远程服务器上已经部署成功了,那么是不需要再次进行开启的。一般远程服务器上的scrapyd会一直保持运行状态。)

再次刷新主机管理,scrapyd的连接状态变成normal即可。

 四、在gerapy中部署爬虫项目

  1. 点击左侧的 Projects ,即项目管理选项。

2.将自己的爬虫项目,拷贝到gerapy目录下的projects目录下。

3.刷新浏览器页面,我们便可以看到 Gerapy 检测到了这个项目。

4.点击部署按钮进行打包和部署,在右下角我们可以输入打包时的描述信息,类似于 Git 的 commit 信息,然后点击打包按钮,即可发现 Gerapy 会提示打包成功,同时在左侧显示打包的结果和打包名称。

5.开始打包

 6.打包完成以后,开始将爬虫项目部署到scrapyd服务上。

五,开始调度爬虫,检测爬虫的运行状态

1.部署完毕之后就可以回到“主机管理”页面进行任务调度。

2.选择要运行的爬虫项目

3.查看运行结果

猜你喜欢

转载自blog.csdn.net/weixin_42336579/article/details/81103681