scrapyd远程部署到阿里云服务器

scrapyd远程部署到阿里云服务器

Scrapyd 是一个运行 Scrapy 爬虫的服务程序，它提供一系列 HπP 接口来帮助我们部署、启动、 停止、删除爬虫程序。 Scrapyd 支持版本管理， 同时还可以管理多个爬虫任务，利用它我们可以非常 方便地完成 Scrapy 爬虫项目的部署任务调度。

如果不使用分布式部署
1.如果采用上传文件的方式部署代码，我们首先将代码压缩，然后采用 SFTP 或 FTP 的方式将 文件上传到服务器，之后再连接服务器将文件解压，每个服务器都需要这样配置。
2.如果采用 Git 同步的方式部署代码，我们可以先把代码 Push 到某个 Git仓库里，然后再远程连 接各台主机执行 Pull 操作，同步代码，每个服务器同样需要做一次操作。

scrapyd部署就很好的解决了这个问题

一，安装
本地需要安装scrapyd，scrapyd-client，curl

Scrapyd 的功能
Scrapyd 提供了一系列 HTTP 接口来实现各种操作。 用curl进行执行

Scrapyd-Client 为了方便 Scrapy 项目的部署
将项目打包成 Egg 文件。
将’打包生成的 Egg 文件通过 addversion.json 接口部署到 Scrapyd 上。
在安装scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的，进入虚拟环境，执行命令pip install scrapy-client，安装完成后，在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件，这个scrapyd-deploy无后缀文件是启动文件，
在Linux系统下可以远行，
在windows下是不能运行的，所以我们需要编辑一下使其在windows可以运行。新建一个scrapyd-deploy.bat文件，右键选择编辑，输入以下配置，注意：两个路径之间是空格

@echo off
C:\Users\Faye\Envs\scrapy\Scripts\python C:\Users\Faye\Envs\scrapy\Scripts\scrapyd-deploy %*

在项目目录下运行，这样就显示可以使用了。

curl命令的安装
下边这是个安装方法，选择对应版本然后配置环境变量就可以了
参考文档：https://cloud.tencent.com/developer/news/359375

远程服务器需要安装：scrapyd

1.安装完scrapyd，需要允许任何IP远程连接服务器，需要更改bind-ip。将默认的127.0.0.1改为0.0.0.0
配置文件位置：(需要根据个人虚拟环境配置的位置做相应改变)

vim /root/.virtualenvs/scrapy/lib/python3.5/site-packages/scrapyd/default_scrapyd.conf

重启服务器，开启服务，然后在本地浏览器访问试试。
2.浏览器访问scrapyd访问服务器错误

原因Twisted版本与scrapy不匹配，回退版本

Scrapy1.6.0 Twisted18.9.0

pip install twisted==18.9.0

参考博客：https://blog.csdn.net/qq_29719097/article/details/89431234

二，本地访问服务器
服务器开启scrapyd服务

本地浏览器访问访问服务器
http://公网IP:6800
image.png

再点jobs
clipboard.png
三，部署scrapy项目
在scrapy项目目录下，有一个scrapy.cfg的配置文件：

把原先注释掉的url那一行取消注释，这个就是我们要部署到目标服务器的地址，
然后，把[deploy]这里改为[deploy:demo]，这里是命名为demo，命名可以任意怎么都可以，只要能标识出来项目就可以。
下边的project 就是我们的工程名，到此配置文件更改完成。

执行打包命令： scrapyd-deploy 部署名称 -p 项目名称

scrapyd-deploy csdndeploy -p csdn
-------------------运行结果------------------------------------
Server response (200):
{“status”: “ok”, “project”: “csdn”, “spiders”: 1, “version”: “1557761014”, “node_name”: “iZhp3adenf04e7geqlzzgtZ”}

会在服务器生成三个文件目录，使用xftp查看

image.png
curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称

curl http://39.104.xxx.xxx:6800/schedule.json -d project=csdn -d spider=csdn_spider
------------------------运行结果------------------
{“status”: “ok”, “jobid”: “d13cce92759411e9846a00163e005636”, “node_name”: “iZhp3adenf04e7geqlzzgtZ”}
这是可以在本地流浪器查看爬虫运行情况

四，命令

1. daemonstatus.json
   这个接口负责查看Scrapyd当前的服务和任务状态。我们可以用命令来请求这个接口，命令如下：

curl http://139.217.26.30:6800/daemonstatus.json
我们就会得到如下结果：
{“status”:“ok”, “finished”:90, “running”:9, “node_name”:“datacrawl-vm”, “pending”:}
返回结果是JSON字符串，是当前运行状态，代表当前已经完成的Scrapy任务，代表正在运行的Scrapy任务，代表等待被调度的Scrapyd任务，就是主机的名称。

2. addversion.json
   这个接口主要是用来部署Scrapy项目用的。我们首先将项目打包成Egg文件，然后传入项目名称和部署版本。
   我们可以用如下的方式实现项目部署：

curl http://120.27.34.25:6800/addversion.json -F project=wenbo -F version=first -F [email protected]
在这里， 代表添加一个参数，同时我们还需要将项目打包成Egg文件放到本地。
发出请求之后，我们可以得到如下结果：
{“status”:“ok”, “spiders”:3}
这个结果表明部署成功，并且Spider的数量为3。
此部署方法可能比较烦琐，后文会介绍更方便的工具来实现项目的部署。

3. schedule.json
   这个接口负责调度已部署好的Scrapy项目运行。
   我们可以用如下接口实现任务调度：

curl http://120.27.34.25:6800/schedule.json -d project=weibo -d spider=weibocn
这里需要传入两个参数，即Scrapy项目名称，即Spider名称。
返回结果如下：
{“status”:“ok”, “jobid”:“6487ec79947edab326d6db28a2d86511e8247444”}
代表Scrapy项目启动情况，代表当前正在运行的爬取任务代号。

4. cancel.json
   这个接口可以用来取消某个爬取任务。如果这个任务是状态，那么它将会被移除；如果这个任务是状态，那么它将会被终止。
   我们可以用下面的命令来取消任务的运行：

curl http://120.27.34.25:6800/cancel.json -d project=weibo -d job=6487ec79947edab326d6db28a2d86511e8247444
这里需要传入两个参数，即项目名称，即爬取任务代号。
返回结果如下：
{“status”:“ok”, “prevstate”:“running”}
代表请求执行情况，代表之前的运行状态。

5. listprojects.json
   这个接口用来列出部署到Scrapyd服务上的所有项目描述。
   我们可以用如下命令来获取Scrapyd服务器上的所有项目描述：

curl http://120.27.34.25:6800/listprojects.json
这里不需要传入任何参数。
返回结果如下：
{“status”:“ok”, “projects”:[“weibo”,“zhihu”]}
代表请求执行情况，是项目名称列表。

6. listversions.json
   这个接口用来获取某个项目的所有版本号，版本号是按序排列的，最后一个条目是最新的版本号。
   我们可以用如下命令来获取项目的版本号：

curl http://120.27.34.25:6800/listversions.json?project=weibo
这里需要一个参数，即项目的名称。
返回结果如下：
{“status”:“ok”, “versions”:[“v1”,“v2”]}
代表请求执行情况，是版本号列表。

7. listspiders.json
   这个接口用来获取某个项目最新版本的所有Spider名称。
   我们可以用如下命令来获取项目的Spider名称：

curl http://120.27.34.25:6800/listspiders.json?project=weibo
这里需要一个参数，即项目的名称。
返回结果如下：
{“status”:“ok”, “spiders”:[“weibocn”]}
代表请求执行情况，是Spider名称列表。

8. listjobs.json
   这个接口用来获取某个项目当前运行的所有任务详情。
   我们可以用如下命令来获取所有任务详情：

curl http://120.27.34.25:6800/listjobs.json?project=weibo
这里需要一个参数，即项目的名称。
返回结果如下：
{“status”:“ok”,
“pending”:[{“id”:“78391cc0fcaf11e1b0090800272a6d06”, “spider”:“weibocn”}],
“running”:[{“id”:“422e608f9f28cef127b3d5ef93fe9399”, “spider”:“weibocn”, “start_time”:“2017-07-12 10:14:03.594664”}],
“finished”:[{“id”:“2f16646cfcaf11e1b0090800272a6d06”, “spider”:“weibocn”, “start_time”:“2017-07-12 10:14:03.594664”, “end_time”:“2017-07-12 10:24:03.594664”}]}
代表请求执行情况，代表当前正在等待的任务，代表当前正在运行的任务，代表已经完成的任务。

9. delversion.json
   这个接口用来删除项目的某个版本。
   我们可以用如下命令来删除项目版本：

curl http://120.27.34.25:6800/delversion.json -d project=weibo -d version=v1
这里需要一个参数，即项目的名称，还需要一个参数，即项目的版本。
返回结果如下：
{“status”:“ok”}
代表请求执行情况，这样就表示删除成功了。

10. delproject.json
    这个接口用来删除某个项目。
    我们可以用如下命令来删除某个项目：

curl http://120.27.34.25:6800/delproject.json -d project=weibo
这里需要一个参数，即项目的名称。
返回结果如下：
{“status”:“ok”}
代表请求执行情况，这样就表示删除成功了。
以上接口是Scrapyd所有的接口。我们可以直接请求HTTP接口，即可控制项目的部署、启动、运行等操作

本篇博客来自：https://www.jianshu.com/u/be37911bf7f2