Python的网络爬虫框架-网络爬虫常用框架
一、前言
- 个人主页: ζ小菜鸡
- 大家好我是ζ小菜鸡，让我们一起来了解Python的网络爬虫框架-网络爬虫常用框架
- 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)
二、引言
爬虫框架就是一些爬虫项目的半成品，可以将一些常用的功能写好，然后留下一些接口，在不同的爬虫项目当中，调用适合自己项目的接口，再编写少量的代码实现自己需要的功能。因此框架中已经实现了爬虫常用的功能，所以为开发者节省了很多精力与时间。
三、Scrapy 爬虫框架
Scrapy 框架是一套比较成熟的Python 爬虫框架，简单轻巧，并且非常方便。可以高效率的爬取Web页面并从页面中提取结构化的数据。Scrapy 是一套开源的框架，所以在使用时不需要担心收取费用的问题。Scrapy 的官方网址为: https://scrapy.org，官方页面如图所示。
Scrapy 开源框架对开发者提供了非常贴心的开发文档，文档中详细介绍了开源框架的安装以及 Scrapy的使用教程。
四、Crawley 爬虫框架
Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。Crawley 的具体特性如下：
- 基于Eventlet 构建的高速网络爬虫框架。
- 可以将数据储存在关系数据库中，例如，Postgres、Mysql、Oracle、Sqlite。
- 可以将爬取的数据导入为Json、XML 格式。
- 支持非关系数据库，Mongodb和Couchdb。
- 支持命令行工具。
- 可以使用喜欢的工具进行数据提取，例如，XPath或Pyquery工具。
- 支持使用Cookie 登录或访问那些只有登录才可以访问的网页。
- 简单易学。
五、PySpider 爬虫框架
相对于Scrapy 框架而言，PySpider 框架是一支新秀。它采取用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI 支持脚本编辑器、任务监视器、项目管理器以及结果查看器。PySpider 的剧本特性如下：
- Python 脚本控制，可以用任何你喜欢的html解析包（内置pyquery）
- Web 界面编写调试脚本、启停脚本、监控执行状态、查看活动历史、获取结果产出。
- 支持MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL与SQLAlchemy。
- 支持 RabbitMQ、Beanstalk、Redis、Kombu作为信息队列。
- 支持抓取JavaScript的页面。
- 强大的调度控制，支持超时重爬及优先设置。
- 组件可替换，支持单机/分布式部署，支持Docker部署。
Python的网络爬虫框架-网络爬虫常用框架的介绍，到此就结束了，感谢大家阅读，如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)