作者主页：编程千纸鹤
作者简介：Java、前端、Python开发多年，做过高程，项目经理，架构师
主要内容：Java项目开发、毕业设计开发、面试技术整理、最新技术分享
收藏点赞不迷路 关注作者有好处
文末获得源码
Python框架之网络爬虫框架
一，初识网络爬虫
网络爬虫可以按照指定的规则（网络爬虫算法）自动浏览或抓去网络中的信息，通过Python可以很轻松的编写爬虫程序或者是脚本。我们常见的搜索引擎就离不开网络爬虫，百度的搜索引擎的爬虫名字叫作百度蜘蛛，它每天都会在海量的互联网信息中进行爬取，收集并整理互联网上的网页、图片视频等信息，然后当用户在百度搜索引擎中输入对应的关键词时，百度将从收集的网络信息中找出相关的内容，再按照一定的顺序将信息展现给用户。百度蜘蛛在工作的过程当中，搜索引擎会构建一个调度程序，来调度百度蜘蛛的工作，这些调度程序都是需要使用一定的算法来实现。采用不同的算法，爬虫的工作效率会有所不同，爬取的结果也会有所差异，所以在学习爬虫的时候不仅需要了解爬虫的实现过程，还需要了解一些常见的爬虫算法，有时还需自定相应的算法。
爬虫按实现的技术和结构一般分为如下几类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。实际开发中，往往