Gerapy usage details

introduce:

Gerapy is a distributed crawler management framework that supports Python 3, based on Scrapy, Scrapyd, Scrapyd-Client, Scrapy-Redis, Scrapyd-API, Scrapy-Splash, Jinjia2, Django, Vue.js development, Gerapy can help us:

More convenient control of crawler operation

View crawler status more intuitively

View crawling results in more real-time

Easier implementation of project deployment

More unified implementation of host management

Easier to write crawler code (almost useless, feels relatively tasteless)

One: Greapy installation

download

$pip install gerapy
$gerapy 查看是否安装成功

Success message:

Usage:
  gerapy init [--folder=<folder>]
  gerapy migrate
  gerapy createsuperuser
  gerapy runserver [<host:port>]

initialize gerapy

$ gerapy heat


执行完毕之后，便会在当前目录下生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹

3. 初始化数据库

要cd 到gerapy目录

$cd gerapy
$gerapy migrate



会在gerapy目录下生产一个sqlite数据库，同时创建数据表

4.运行gerapy服务

`$gerapy runserver`

5.访问gerapy管理界面

`http://127.0.0.1:8000`

![](http://i2.51cto.com/images/blog/201805/09/f38cf08ad1004535950f43ba0eaec1d4.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

二 : Greapy 管理界面使用

1. 配置主机

就是配置我们scrapyd 远程服务.
![](http://i2.51cto.com/images/blog/201805/09/e256bacecbcb6838165cd3644998569a.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

需要添加 IP、端口，以及名称，点击创建即可完成添加，点击返回即可看到当前添加的 Scrapyd 服务列表

不了解scrapyd的请移步:https://blog.csdn.net/fengltxx/article/details/79889340

创建成功后,我们可以在列表中查看已经添加的服务
![](http://i2.51cto.com/images/blog/201805/09/34dd46a15b3556c0c0df625e77328b43.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

如果想执行爬虫,就点击调度.然后运行. 
前提是: 我们配置的scrapyd中,已经发布了 爬虫.
![](http://i2.51cto.com/images/blog/201805/09/87cad32deffb78a3ff728b6b637e5398.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

可能有的疑问: 
Gerapy 与 scrapyd 有什么关联吗?

我们仅仅使用scrapyd是可以调用scrapy进行爬虫. 只是 需要使用命令行开启爬虫

`curl http://127.0.0.1:6800/schedule.json -d project=工程名 -d spider=爬虫名`

使用Greapy就是为了将使用命令行开启爬虫变成 “小手一点”. 我们在gerapy中配置了scrapyd后,不需要使用命令行,可以通过图形化界面直接开启爬虫.

2. 配置Projects

我们可以将scarpy项目直接放到 /gerapy/projects下.然后可以看到gerapy后台看到有个项目,可以为这个项目部署到之前配置的主机中. 有时间再更新,……

Gerapy usage details

Guess you like