ProxyHandler处理器(爬虫代理IP)

1.代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据,再转发给我们代码。
2.http://httpbin.org:这个网站可以方便查看http请求的一些参数。
3.在代码中使用代理:

  • 使用urllib.request.ProxyHandler,传入一个代理,这个代理是一个字典,字典的key依赖于代理服务器能够接收的类型,一般是’http’或者’https’,值是ip:port。

  • 使用上一步创建的’handler’,以及’request.buid_opener’创建一个’opener’。

  • 使用上一步创建的’opener’,调用’open’函数,发起请求。
    示例代码如下:

#使用代理:
from urllib import request
url = 'http://httpbin.org/ip'
#1.使用proxyHandler传入代理构建一个handler
handler = request.ProxyHandler({"http":"223.241.78.43:8010"})
#2.使用上面的handler构建一个opener
opener = request.build_opener(handler)
#3.使用opener去发送请求
resp = opener.open(url)
print(resp.read())

使用代理好处:
代理IP相当于一个信息中转站,它会代替客户端向服务器发送请求,并将服务器返回的响应转发给客户,相当于一个连接客户端和服务器的桥梁。正是代理IP的工作原理决定了它具有广泛的应用。

使用过爬虫的人应该都会遇到,就是爬取的时候IP会突然被网站封掉,这是因为大多数网站都会设置“反爬虫”措施。

为什么要反爬虫?因为爬虫会在短时间内发出大量请求,会影响正常用户的访问体验,严重的还会导致网站瘫痪,所以网站一般都会设置反爬虫措施。

由于存在反爬虫措施,所以爬虫的IP经常会被封禁。不过使用了动态IP代理的爬虫,就不会出现这种情况。因为动态代理IP每隔一段时间就会切换新的IP,如果IP被封禁了,换个IP就可以继续爬虫了。

普通的爬虫,如果使用了代理IP,就可以有效的解决反爬的问题,提高工作效率,这就是爬虫使用代理IP最大的效果。
不使用代理IP:

#没有代理
from urllib import request
url = 'http://httpbin.org/ip'
resp = request.urlopen(url)
print(resp.read())

分别分享了两种自己所学方法,希望能够帮助大家。更快的了解代理IP的使用。

网上最实用的三大代理IP网站:

1.西刺免费代理IP:http://www.xicidaili.com/
2.快代理:http://www.kuaidaili.com/
3.代理云:http://www.dailiyun.com/

猜你喜欢

转载自blog.csdn.net/weixin_48106407/article/details/107774305