爬虫行动被限制?天启教你一招破解!

在IP代理盛行的今天,爬虫技术已经被我们充分应用于收集数据。但如果不用代理IP,我们的爬虫行动往往会受到很多限制,中断我们的爬取进度。有什么方法能避免呢?和天启IP一起往下看看把~在这里插入图片描述

1.验证码
我们在很多网站会遇到,如果请求量大了之后就会遇到验证码的情况。比如最让人诟病的12306验证码,其实也是一定程度上的防止非正当请求的产生。
对于验证码,可以通过OCR来识别图片,Github上面有很多大神分享的代码可以去看看。

2.Headers限制
这应该是最常见的,最基本的反爬虫手段,主要是初步判断你是否是真实的浏览器在操作。
这个一般很好解决,把浏览器中的Headers信息复制上去就OK了。
值得注意的是,很多网站只需要userAgent信息就可以通过,但是有的网站还需要验证一些其他的信息,比如知乎,有一些页面还需要 authorization 的信息。所以需要加哪些Headers,还需要尝试,可能还需要Referer、Accept-encoding等信息。

3.返回伪造的信息
这个真的是程序员何苦为难程序员。反爬虫的工程师也是煞费苦心,一方面是不让真实的数据被大规模爬取,另一方面也给你后期的数据处理增加负担。如果数据伪造的好,可能你真的不容易发现自己爬的是假数据,当然只能依靠你后期去清洗这些数据了。

4.减少返回的信息
最基本的是隐藏真实的数据量,只有不断加载才能刷新信息。还有的就更变态,会只给你展示一部分信息,人都看不到,爬虫也无能为力。比如CNKI,你每次搜索能够得到的内容就是非常有限的。这个貌似没有很好的解决办法,但是这么干的网站毕竟是少数,因为这种方式,其实在某种程度上是牺牲了一部分真实用户的体验。

5.动态加载
通过异步加载,一方面是为了反爬虫,一方面也可以给网页浏览带来不同的体验,实现更多的功能。很多动态网站都是通过ajax或者JavaScript来加载请求的网页。
在遇到动态加载的网页的时候就需要去分析ajax请求,一般情况都能直接找到包含我们想要数据的json文件。
如果网站给文件加密,那么可以通过selenium+phantomJS框架,调用浏览器内核,并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。理论上selenium是比较全能的爬虫方案,因为这个确实算是真实的用户行为。除非网站的反爬虫严苛到宁愿误杀的地步。

6.IP限制
限制IP也是很多网站反爬虫的初衷,有些人随便写一个循环,就开始暴力爬取 ,确实会给网站服务器带来很大的负担,而这种频繁的访问,显然也不会是真实用户行为,索性果断把你封掉。
这种情况,你可以遵守规则,把你爬取的速度变慢,每次爬取停个几秒就行了。
当然,你也可以通过不断换IP的形式来绕过这种限制,你可以自己搭一个IP池,爬到一定的量就切换IP。也可以选择一些换IP软件比如天启IP来帮助自己完成。

猜你喜欢

转载自blog.csdn.net/tianqiIP/article/details/113844024