PySpider 框架的功能特点
PySpider是一个基于Python语言编写并带有WebUI功能的分布式网络爬虫框架。与其他爬虫工具相比，PySpider不但对于不同的数据库后端都可以提供数据库操作，而且还拥有任务监视器、项目管理器和结果查询器等工具 。同时PySpider也是一个开源的爬虫框架， 它通过Python构建爬虫模型实现对数据的抓取，主要由使用者自定义爬虫逻辑的实现，是目前比较流行的爬虫框架。主要的功能特性为：
(1)可以实现多站点，多维度爬取不同页面。
(2)可以对网站页面按照一定结构进行数据爬取。
(3)具有可监控性和灵活性的特点。
现如今互联网网站结构越来越复杂化， 使用单一的基于Python脚本实现的爬虫并不一定能高效率的实现抓取需求，我们要实现灵活且多元化的抓取，必须通过一些具有诸如调度器、队列、多线程抓取、异常处理功能的爬虫框架，这些框架具有一定的灵活性，并且还提供了一些已实现了抓取逻辑的脚本代码，同时还应该具有环境调试，任务监控等功能，可以实现高效率信息爬取的爬虫框架。
而PySpider框架正式拥有上述特点的爬虫框架。
PySpider 框架的原理
网络蜘蛛(Crawler)也可以称作网络爬虫， 能够按照用户定义的某种规则在特定的站点页面进行数据爬取。它通过对获取的页面数据信息进行分析，过滤出页面中存在的超链接(URL)然后通过解析这些超链接， 下载相对应的页面数据。在整个解析过程中爬虫框架会不停的寻找页面中新的超链接并不断循环去下载这些页面中的数据。而PySpider 框架作为目前最流行的爬虫工具整体设计灵活简单并且容易上手，通过Python脚本作为程序驱动，并以结构化形式进行网页数据抓取，同时为了保证数据抓取灵活性，还可以通过follow连接调度抓取控制。PySpider 框架抓取环模型已经很成熟了，它的不同模块之间由消息队列连接并进行数据通信，在信息爬取过程中模块之间互不干扰，并提供单进程到多进程之间的灵活扩展。