关于爬虫中使用了 ip 代理还是被封的一些想法

问题描述

最近在爬取一个股票相关的网站,发现即使使用了代理,还是 403 被反了。
但是当我更换阿布云付费代理的时候,是 ok 的。

解决过程

找到一篇文章: https://www.zhiliandaili.com/News-getInfo-id-159.html

在这里插入图片描述
在这里插入图片描述

首先我想的是我的代理是不是质量不好,不是高匿的。

检验高匿代理

搜索如何判断 ip 是高匿代理,
找到了一些测试方案 :
http://http.hunbovps.com/article-id-1421.html

初步判断是代理质量的问题,如果原始 ip 被封,大概率会被服务器“看到”。

因为公司提供的 ip 质量不佳,且设置了白名单和限量,无法长时间测试。自己写了几个 demo 测试,在一定时间周期内可以拿到一个可用的 ip。

后续找到比较稳定的解决方案再来更新。

后记

更新时间: 2020-02-07

发布了291 篇原创文章 · 获赞 104 · 访问量 41万+

猜你喜欢

转载自blog.csdn.net/Enjolras_fuu/article/details/104209957