ProxyHandler

很多网站会检测某一段时间某个ip的访问次数（通过流量统计，系统日志等），如果访问次数多的不像正常人，它会禁止这个ip的访问，所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算ip被禁止，依然可以换个ip继续爬取，urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

from urllib import request
#没有使用代理
url='http://httpbin.org/ip'
#resp=request.urlopen(url)
#print(resp.read())
#使用代理字典形式
#1.使用ProxyHandler：传入代理构建一个handler
handler=request.ProxyHandler({
    
    "http":"136.228.128.14:61158"})
#2.使用上面创建的handler构建一个opener
opener=request.build_opener(handler)
#3.使用opener去发送一个请求
req=request.Request(url)
resp=opener.open(req)
print(resp.read())

常用的代理有：

• 快代理：http://www.kuaidaili.com
• 代理云：http://www.dailiyun.com
• 西刺免费代理：http://www.xicidaili.com

查询访问服务器的IP地址，测试有无改变IP地址：httpbin.org

1. 代理的原理：在请求目的服务器之前，先请求代理服务器，然后让代理服务器去请求目的服务器，代理服务器拿到目的服务器的数据后，再转发给我们

2. http://httpbin.org :这个网站可以方便的查看http请求的一些条款

3. 在代码中使用代理：

• 使用 urllib.request.ProxyHandler
• 传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接受的类型，一般是“http”或“https”，值是“IP：port”
• 使用上一步创建的“bandler”，以及‘request.build_opener’创建一个“opener”对象
• 使用上一步创建的“opener”，调用“open”函数，发起请求