爬虫IP池验证IP是否可用(简单易懂)

IP池验证IP是否可用

使用requests模块演示代码
具体的ip池这里就不演示了,无非就是在代理的网站爬取收集大量的ip进行存储,并没有很大的难度,这里主要演示验证IP可用性的方法。

import requests

url = "http://www.baidu.com/"
proxies = {"http": "http://x.x.x.x:端口号码"}
#空白位置为测试代理ip和代理ip使用端口

headers = {"User-Agent": "Mozilla/5.0"}
#响应头
res = requests.get(url, proxies=proxies, headers=headers)
#发起请求
print(res.status_code) #返回响应码

正常有效的可用代理ip返回的应该是响应码200
大家可以去随便找个IP端口测试一下

当IP端口出现问题时,程序无法正常运行就会抛出异常,这样我们就可以通try-except语句捕捉异常状态,通过对程序的正常异常流程走向,来判断IP是否可用

错误IP演示

这是一个非常简单的验证方法,将以上代码封装成函数就可以拿来验证ip是否可以使用,用过判断,就可以将可用IP和不可用IP区分开来,从而高效的利用代理池。

猜你喜欢

转载自blog.csdn.net/weixin_43022017/article/details/84864784