一、介绍
在这里使用的是scrapyd部署，scrapyd-deploy进行打包，spiderkeeper进行项目可视化管理。spiderkeeper是开源的spider可视化管理工具，它可以很方便的实现爬虫的启动，暂停，定时等，同时还具有可以查看分布式下所有爬虫的日志、爬虫执行情况等功能。
二、使用
安装相关环境
python3.7.3
pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install scrapy-redis
pip install SpiderKeeper
启动scrapyd
终端输入：scrapyd
浏览器输入：localhost:6800
部署到本地的scrapyd上
使用scrapy-deploy将项目部署到你本地的服务器上面,你本地的scrapyd获得相应的 .egg文件.
scrapyd-deploy 部署名 -p 项目名称启动spiderkeeper
通过连接多台scrapyd服务器进行启动.，启动一个spiderkeeper能够进行部署多台服务器的spider文件
sudo spiderkeeper --server=http://localhost:6800 --server=http://123.124.125.126:6800 终端输入：SpiderKeeper
浏览器输入：localhost:5000
注意：在windows平台下需要输入用户名和密码，用户名和密码默认都是admin。
打包以及部署
测试scrapyd-deploy可用：
scrapyd-deploy -h使用scrapyd打包项目生成.egg文件，以便后面传到spiderkeeper上面
scrapyd-deploy --build-egg output.egg部署到spiderkeeper上
输入：localhost:5000显示的页面上点击左侧栏中Deploy按钮进行创建项目
选择新生成的.egg文件即可完成。