很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问的次数多得不像正常人,它会禁止这个IP的访问。
所以我们可以设置一些代理服务器,每个一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。
1.代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再转发给我们的代码。
2.http://httpbin.org:这个网站可以方便的查看HTTP请求的一些参数。
3.urllib中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义opener来使用代理:
* 使用`urllib.request.ProxyHandler`,传入一个代理,这个代理是一个字典,字典的key依赖于代理服务器能够接收的类型,一般是`http`或者`https`,值是`ip:port`。
* 使用上一步创建的`handler`,以及`request.bulid_opener`创建一个`opener`对象。
* 使用上一步创建的`opener`,调用`open`函数,发起请求。
from urllib import request # 这个是没有使用代理的 # resp = request.urlopen("http://httpbin.org/get") # print(resp.read().decode("utf-8")) # 下面是使用了代理的 handler = request.ProxyHandler({"http": "218.66.161.88:31769"}) opener = request.bulid_opener(handler) req = request.Request(""http://httpbin.org/ip") resp = opener.open(req) print(resp.read())
常用的代理有:
- 西刺免费代理IP:http://www.xicidaili.com/
- 快代理:http:/www.kuaidaili.com/
- 代理云:http://www.dailiyun.com/