随着互联网的发展，越来越多的公司需要爬取各种数据来分析出自己公司业务的发展方向。而目前许多目标网站也有各种各样的措施来反爬虫，越是数据价值高的网站反爬做得也就越复杂。给大家列举了几个常见的反爬措施以及解决方案。
1、通过user-agent字段来反爬
最常见的反爬策略就是检测用户的请求头。这个是比较容易实现的反爬，破解起来也是比较容易的，解决方法就是伪装header，只要合理添加请求头就可以正常访问目标网站获取数据。
2、利用代理ip反爬
目前一般网站都会检测某个ip在单位时间内的请求次数，如果单位次数超过了这个阈值就会停止其请求访问。所以一般在爬取的时候我们都会用到代理ip来模拟真实用户使用不同的ip来访问目标网站。
我们通过代理的原理就能够很好地进行了解。
ip代理池架构
3、通过cookies反爬
cookies也是一个比较常见的反爬手段之一，可以把它和登录放在一起。这里需要注意的是，有些不需要登录的网站也会通过cookies来过滤一些没有经过伪装的爬虫。解决方案就是进行模拟登陆，成功获取cookies之后再进行数据爬取。
cookie代理池模块一般架构
4、通过验证码反爬
验证码也是一种比较常见的反爬方式，有的目标网站服务器在同一ip地址访问到一定数量之后，可以返回验证码让用户进行验证。我们常见的验证码形式也是非常多的，比如数字验证码、字母验证码、字符图形验证码。简单的验证码我们可以通过打码平台进行破解。复杂的话我们可以尝试模拟用户的行为绕过去，但是通常比较繁琐难度可能会比较大。
5、动态页面的反爬
有部分目标网站，我们爬取的数据是通过ajax请求得到的，或者Java生成的。
Selenium 可以做到可见即可爬。对于一些动态页面来说，此种抓取方式非常有效。
PhantomJS ：一个没有图形界面的浏览器。
如果对Python感兴趣的话，可以试试我整理的这份Python全套学习资料，文末免费领取
包括：Python永久使用安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等学习教程。带你从零基础系统性的学好Python！
零基础Python学习资源介绍
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python学习软件
工欲善其事，必先利其器。学习Python常用的开发软件都在这里了！
三、Python入门学习视频
还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~
四、Python练习题
每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
五、Python实战案例
光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。这份资料也包含在内的哈~
六、Python面试资料
我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
七、资料领取
上述完整版Python全套学习资料已经上传CSDN官方，需要的小伙伴可自行微信扫描下方CSDN官方认证二维码输入“领取资料”免费领取！！
