Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫,名称有点套娃

本篇博客和上一篇内容呈连续性,注意哦~

scrapydweb模块安装

上篇博客中提及到了一款美化scrapyd的模块,名字叫做scrapydweb今天我们就把它配置起来吧

本篇博客内容相对简单,篇幅较少,大家可以快速阅览

scrapydweb 的 github地址如下:https://github.com/my8100/files/tree/master/scrapydweb

安装命令也比较简单

pip install scrapydweb -i https://pypi.douban.com/simple

运行scrapydweb,运行前注意你的scrapyd必须处在运行状态

运行效果如图,运行完毕,会在当前目录生成一个scrapydweb_settings_v10.py文件

Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫

1. 配置scrapyd服务器节点

然后打开文件, 注释一些内容。具体如下

SCRAPYD_SERVERS = [
    

猜你喜欢

转载自blog.csdn.net/hihell/article/details/108325969