爬虫框架pyspider从入门到精通

一、安装

1、使用pip安装

python -m pip install --upgrade pip
pip install pyspider

报如下错误：

Command "python setup.py egg_info" failed with error code 10 in C:\Users\LIUDAO~1\AppData\Local\Temp\pip-install-qs02ecob\pycurl\

解决办法：

利用wheel安装对应版本的pycurl

2、特性

使用python编写代码

Web UI、任务监控、工程管理、结果查看

强大的数据库支持：MySQL、PostgreSQL、MongoDB、Redis

强大的消息队列支持：RabbitMQ、BeanStalk、Redis