写在前面
本篇博客内容其实和上一篇涉及的内容类似，都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义：
爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。
目前在市场上流通的一些开源爬虫管理平台如下
Scrapydweb上篇博客介绍的，采用Flask+VUE实现，UI比较美观，支持scrapy日志解析、节点管理、定时任务、邮件提醒等功能，但是不支持scrapy以外的其他爬虫，比较遗憾。SpiderKeeper本篇博客待介绍的，基于scrapyd，开源版的scrapyhub，同样不支持scrapy以外的爬虫。Gerapy采用Django+VUE实现，该平台国内大佬开发，UI美观，支持的功能与Scrapydweb类似，后面单独写一篇博客给大家介绍一下。Grawlab采用Golang+VUE实现，该平台不局限于scrapy了，可以运行各种爬虫，不过部署比较复杂，后面依旧单独写一篇博客给大家分享。
spiderkeeper官网
github地址：https://github.com/DormyMo/SpiderKeeper
编写爬虫，搭建spiderkeeper
我们依旧采用scrapy写一个简单的爬虫，该步骤自行完成吧，我这里省略了。