一、pyspider介绍
pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现,主要的功能需求是:
- 抓取、更新调度多站点的特定的页面
- 需要对页面进行结构化信息提取
- 灵活可扩展,稳定可监控
二、pyspider安装
1、安装pip(如果未安装)
sudo easy_install pip
2、安装pyspider
pip install pyspider
注意:安装的过程中可能会抛错:pyspider fatal error: 'libxml/xmlversion.h' file not found
这个只要先安装Command Line Tools 就行了
三、运行
扫描二维码关注公众号,回复:
565247 查看本文章
pyspider
完成之后访问http://localhost:5000