Python ---pyspider

pyspider: 爬虫框架,基于PyQuery实现的。

优势:
1. 基于多线程异步的任务调度方式;可以实现爬虫的高并发爬取,注意使用代理 ;
2. 它提供了一个WebUI的爬虫任务管理界面,可以实现爬虫的停止,启动,调试,支持定时爬取任务 ;
3. 代码简洁 ;
4. 支持动态网站的爬取; requests/urllib只能爬取静态网站。phantomjs

phantomjs: 幽灵浏览器,无界面版的浏览器。

劣势:
可扩展性不强;

整体上来说:一些定制性高的,需要自定义一些功能的时候可以使用Scrapy,而一些定制性不高,不需要太多自定义功能时使用pyspider ;

同步执行的.
列表页
详情页


猜你喜欢

转载自blog.csdn.net/qq_42336542/article/details/80697905