搭建代理的一个小坑之HTTP与HTTPS的使用

代理的作用与原理

代理服务器在写爬虫的时候会经常用到，主要作用有隐藏真实IP和提高访问速度等。其原理是这样一回事：形象地说，它是网络信息的中转站。在我们正常请求一个网站时，是发送了请求给Web服务器，Web服务器把响应传回给我们。如果设置了代理服务器，实际上就是在本机和服务器之间搭建了一个桥，此时本机不是直接向Web服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给Web服务器，接着由代理服务器再把Web服务器返回的响应转发给本机。这样我们同样可以正常访问网页，但这个过程中Web服务器识别出的真实IP就不再是我们本机的IP了，就成功实现了IP伪装，这就是代理的基本原理。

本地搭建代理

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener

proxy_handler = ProxyHandler({
    'http':'http://127.0.0.1:63342',
    #'https':'https//127.0.0.1:63342'
})
opener = build_opener(proxy_handler)

try:
    response = opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

这里使用了ProxyHandler，其参数是一个字典，键名是协议类型（比如HTTP或者HTTPS等），键值是代理链接，可以添加多个代理。
然后，利用这个Handler及build_opener（）方法构造一个Opener，之后发送请求即可。

一个小坑

上述代码中https参数部分容易被新手忽略，因为这里是本地代理服务器，而你的本地服务器并没有取得SSl证书，也就并没有https协议（https是http的一个安全版本）。如果上面并没有注释的话（http和https两个参数同时存在）就会报错“Tunnel connection failed: 404 Not Found”，如下：
404
注释掉https参数就可以，如：