2018年爬虫代理IP提供商对比

 https://www.jianshu.com/p/4c4aa84479eb

https://www.jianshu.com/p/f58baf9aaf9c

背景:国内某企业爬虫工程师一枚,每天都在和爬虫相爱相杀,本回答只介绍自己用过的代理IP提供商,我的关键词:需求高并发、支持多终端、可用IP数量。

    写在前面的科普知识:很多人把IP可用率作为购买第一参考因素,其实市面上的的IP资源基本都是租用代理拨号服务器,IP可用率普遍都能达到90%以上,因此谁家的IP可用率都差不多(老铁们,我说的可不是免费的万人骑IP)。而我们真正该关心的应该是业务成功率,比如:

    不同的两家代理IP提供商,都使用一万个IP,第一家抓取了5000条数据,第二家抓取了1000条数据。为什么会这样呢?

    得出结论:IP可用率≠业务成功率

    因为第二家用户太多了,导致业务冲突。比如我抓取微博的数据,第二家有10个抓取微博的用户,那我还怎么能抓取到,都被风控给拦截了。而第一家没有抓取微博的用户,抓取的成功率是不一样的。

    言归正传,下面老司机要推荐了哈!抓紧!

    代理云http://www.dailiyun.com

    为什么把代理云排在首位?回到我最初关键词:需求高并发、支持多终端、可用IP数量。这些是我的需求,代理云很好的满足了。

    为了抓取效率,我都是60个终端一起跑,每天大约需求8万+IP,以后终端数量还会增加。代理云每天可使用不重复IP10万+,一次可提取1000个IP,不限制提取时间间隔,市面上一次提取几个几十个IP的那种,一天累死我也抓不出来多少数据。一秒5个并发和一秒1000个并发的效率,那差距非常大。代理云不限制使用终端,支持账号密码验证,没有额外费用,填一段代码就直接解决了我多终端的问题。且上文说到业务成功率,除了独享IP就是代理云的IP池模式了,天生物理隔绝业务冲突,解决了业务冲突导致抓取低的问题。

    但是如果你需求10万以上的IP量,代理云真的满足不了

图片来自于代理云官网

芝麻代理http://www.zhimaruanjian.com

芝麻代理这两年发展的声势很大,自然也少不了亲自测评一下。效果还不错,他家的代理IP数量在市面上算多的,起码客服回复“需要多少就有多少”,着实惊到我了。但是单次只能提取200个IP,并且是IP白名单绑定验证,多个白名单要多收费。。。如果你需求IP数量大,可以试试他家,企业背景和实力都不错,但是多终端一起跑的,要提前做好心理准备。

他家经常有优惠活动,购买前可以多问问客服哟。

图片来自于芝麻代理官网

爬虫代理http://www.pcdaili.com

我尝试过很多号称百万量级的IP资源,其实也就。。。不多说大家都懂。但是爬虫代理家真的是有百万量级,1000元一天,一天可满足10万IP。他家还有一个最大的优势,反向代理,这种代理IP真人度较高,更适合做一些效果补量的业务,比如注册、投票等。

不过不知道为什么,最近爬虫代理的官网突然打不开了,让人心里多少有点没谱。

以上三家适合高并发且抓取数量大的用户。如果每天使用量小,抓取量少的话,可以看看以下几家。

讯代理http://www.xdaili.cn

讯代理自上线运行以来进行过一些优化,他家套餐划分清晰,收费也较合理,优质代理9元包天,混拨代理29元包天,独享代理9元包天。对于小爬虫来说,讯代理是一个不错的选择。但是单次提取代理数最多30个,每隔10秒钟提取一次,一天下来累计不重复IP大概4万+。相信我,如果你需求量较大,这个获取频率绝对是噩梦。

插播一下,对于“购买代理”页面,镂空字体值得吐槽,真的没人觉得会眼花吗?

图片来自于讯代理官网

站大爷http://ip.zdaye.com

他家的网站风格真是独树一帜!动态拨号资源和讯代理基本一样,但是价格要比讯代理低一些。一手私密代理IP是他家主打IP资源,一个月2200元,一天1万IP左右,这种一手私密代理IP非常适合做效果补量业务,业务成功率很高。

很多人吐槽站大爷家的服务态度不好,我觉得还好,起码我咨询的时候并没有挨骂。。。对于我来说,只要代理IP好用,一切好商量。

最近市面上代理IP提供商层出不穷,等我测评后会陆续补充。不敢说自己写的多好,但绝对是亲身体会的干货!不像楼内某些回答,图文都不是一家产品,推广告软文也得专业点吧。。。

总结:

高并发+高效率+业务成功率=代理云

需求IP数量多+套餐灵活=芝麻代理、爬虫代理

套餐灵活+小爬虫福音=讯代理、站大爷



作者:代理云萌萌_4f89
链接:https://www.jianshu.com/p/4c4aa84479eb
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

猜你喜欢

转载自blog.csdn.net/NRlovestudy/article/details/88125426
今日推荐