爬虫的概念及类型
1.什么是爬虫？
通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程
2，类型
通用爬虫：抓取系统重要组成部分,抓取的是一整张页面数据
聚焦爬虫：是建立在爬虫的基础之上。抓取的是页面中特定的局部内容
增量式爬虫：检测网站中数据更新的情况。之后抓取网站中最新更新出来的数据
3.反爬机制
门户网站，可以通过制定相关的策略或者技术手段，防止爬虫程序进行网站数据的爬取
4.反反爬策略
爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，
从而可以获取门户网站的数据
5.robots.txt协议：
君子协议。规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以