PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器
但是在工作中还是没有scrapy功能强大,所以并没有很深入的去学习
只是大概了解
1. 下载pyspider pip install pyspider
2. 打开命令行工具 输入pyspider启动
3. 打开浏览器输入地址,默认端口5000(Flask默认端口),访问
4. 点击create创建项目
5. 简单操作