多线程代理IP池

                有的时候需要对某些免费接口进行访问,或者数据爬虫时,为了防止某段时间大规模访问,对方封IP的这种情况。在自己进行访问时最好可以尝试换IP来访问。那么换IP怎么访问,这就牵扯到简单的还是自己动手解决。

简单的情况下,就是自己买免费的IP,去接接口获取。或者手动配置。缺点是,买免费要钱,在不是公司级业务的情况下,花钱有点冤大头。不买自己百度的话,第一是不够灵活,因为代理ip死亡时间很快,第二是极其麻烦,还要自己找,自己放在变量里?

所以,最好的解决方式是,要么出钱买一个接口自动获取,要么自己写一个代理ip池,不断地获取新的ip,并进行活跃度检测,删除死亡的ip达到一个转换的效果。

本文大致讲解一下,多线程代理ip池的思路,有关完整代码在文末提供链接下载。

              首先,一个代理ip池要从时间逻辑上要考虑以下几个东西

              1.从那里获取

              2.怎么获取

              3.提高获取速度

              4.保存在哪里

              5.活跃度怎么保证

              解决一下上述问题,就能编写出来了。

              1.既然是免费代理ip池,那就从网上找到提供免费代理ip的网站,从网站上获取

              2.通过模拟请求,把网站上的代码获取到,通过jsoup解析,获取ip列表

              3.可以多找一些种子页面,也就是多找几个免费提供代理ip的网站,同时用多线程,同时对多个网站,多个page页面进行解析

              4.如果很多人要用,放在数据库,如果自己用,放在redis里最好,如果只是学着玩放在static List<String> 里也行

              5.在启动的时候,开启一个线程对活跃度进行检测,简单的来说,在一定的周期后,此任务启动,会用保存的ip去请求一个网站,如果请求的通,就说明是此Ip可用

               其实讲到这里基本就不用多说了,这个逻辑还是比较简单的,没有牵扯过多复杂的东西。

               还是根据对应逻辑点,放几张对应代码的图片,方便理解下吧。

               1.

               

              2.


          

3.创造线程池,同时对两个网站,前十页的ip进行解析,下面的cheakActive是对活跃度进行检测的,update刷新掉不活跃的ip


4.选择存储位置,优先选择redis,没有开启redis选择List。抽象父类,下面的redis和list只要继承这个方法实现对应方法,直接掉父类方法就成了


5.请求超时的删除


6.结果:




源码下载地址:java maven的

http://download.csdn.net/download/zxysshgood/10138666

猜你喜欢

转载自blog.csdn.net/zxysshgood/article/details/78672343