scrapyd

是什么?

  • scrapyd是scrapy官方提供的爬虫管理工具
  • 我们可以从任何一台能连接到服务器的pc发送请求来操控爬虫
    • 运行爬虫
    • 停止正在运行的爬虫
    • 上传新的爬虫
  • 版本控制功能

scrapyd的使用:

  • 安装 :pip install scrapyd
  • 运行 : scrapyd
    • 默认坚挺 0.0.0.0:6800 端口, 运行scrapyd之后, 在浏览器输入localhost:6800 即可查看当前运行的项目     

  

猜你喜欢

转载自www.cnblogs.com/zhangjian0092/p/11803534.html
今日推荐