爬虫简介
网络蜘蛛(又称为王爷蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序和脚本。另外一些不常用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
常见反爬虫策略及绕过方法
一般来说，爬虫工程师在爬取稍微正规一点的网站，都会受到反爬虫的制约。反爬虫主要有以下几种方式：
1. 通过UA判断。这是最低级的判断方法，因为只要在爬虫时采用随机UA就可以了。
2.通过单IP访问频率判断。这个判断简单，而且反反爬虫比较费力，反爬虫绝佳方案。需采用多IP抓取。
3.通过Cookie判断。例如通过会员制账号密码登录，判断单账号短时间抓取次数判断。这个反反爬虫也很费力。需采取多账号抓取。
4.动态页面加载。这个就考验前端工程师的功底，如果前端写的好，各种JS判断，各种逻辑，post登录很难。方法较好，但是对于大牛，还是防不胜防。反反爬虫多采用渲染浏览器抓取，效率低下。
5.采用验证码。这里要么是登录的时候有验证码，要么是判断爬虫时，不封而是采用验证码验证。验证码是反爬虫性价比比较高的一种方案。反反爬虫一般接入OCR验证码识别平台或者人工打码平台，亦或者利用Tesseract OCR识别，亦或者采用神经网络训练识别验证码等。