互联网彻底改变了人们的工作和生活，互联网行业从业者越来越多。随着大数据时代的到来，一些网站为了保证用户的正常访问，会设置一些防爬系统。爬虫在收集数据过程中发送的大量请求触发反抓取机制，IP号会被拦截。如果要继续抓取数据，需要切换到新的IP地址。
接下来，我们将讨论数据收集或爬虫中的ip限制的几种解决方案:
解决方案1:
建议使用代理IP；在带有外部IP的机器上部署爬虫代理服务器；用轮训代替代理服务器访问你要收藏的网站。
这样你的程序逻辑变化很小，只需要代理功能，只需要根据对方网站的不同拦截规则添加不同的代理即可。再者，即使具体IP被屏蔽，也可以直接注销代理服务器，就OK了，不用改变程序逻辑。
解决方案2:
Useragent伪装和旋转，使用代理ip和旋转，并处理cookies。
解决方案3:
用ADSL+脚本监控是否阻塞，然后持续切换IP；设置查询频率限制，即限制调用网站提供的服务接口。
解决方案4:
一般网站IP封的依据是单位时间对某个特定IP的访问次数过多。在收集多个网站时，可以根据目标站点的IP对收集到的任务进行分组，然后控制每个IP单位时间发送的任务数，避免被拦截。
解决方案5:
尽可能的模拟用户行为，比如UserAgent经常变化，访问时间间隔设置的更长，访问时间设置为随机数；访问页面的顺序也可以是随机的。
解决方案6:
对爬行动物的爬行进行压力控制；可以考虑使用代理访问目标站点:降低捕获频率，设置更长的时间，访问时间使用随机数；UserAgent的频繁切换(模拟浏览器访问)；多页数据，随机存取然后抓取数据；改变用户IP是最直接有效的方法！
文章部分内容源于网络，联系侵删*