爬虫前奏
爬虫的实际例子：
1.搜索引擎(百度，谷歌，360搜索等)；
2.伯乐在线；
3.惠惠购物助手；
4.数据分析与研究(数据冰山知乎专栏)；
5.抢票软件等。
什么是网络爬虫：
1.通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页，并把数据抓取下来，然后使用一定的规则提取有价值的数据。
2.专业介绍：网络爬虫又被称为网页蜘蛛，网络机器人，在FOAF(网络空间搜索引擎)社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动搜索，模拟程序或者蠕虫。
通用爬虫和聚焦爬虫：
1.通用爬虫：通用爬虫是搜索引擎抓取系统(百度，谷歌，搜狗等)的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
2.聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。
为什么用Python为爬虫程序：
1.PHP：PHP是世界上最好的语言，但他天生不是做这个的，而且对多线程，异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
2.Java：生态圈完善，是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。
3.C/C++：运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天的时间。
4.Python：语法优美，代码简洁，开发效率高，支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。
准备工具：
1.Python3.6开发环境；
2.PyCharm;
3.虚拟环境。virtualenv/virtualenvwrapper