1分钟搞定Python代理HTTP请求头的实现

http请求信息由请求方法、请求头和请求文本三部分组成。
第一，BasicAuth
它是一种受用户授权限制的不安全用户验证方法。用户名密码(明文)将被添加到headers的Autheration字段中。如果验证失败，请求将失败。现在这种认证方法正在被淘汰。
第二，Referer
链接的来源通常在访问链接时带有Refer字段，服务器验证来源，后台通常使用该字段作为防盗链的依据。
第三，User-Agent
后台通常通过这个字段来判断用户设备的类型、系统和浏览器的版本。一些编程语言包中的网络请求可以定制User-Agent，并且可以在爬虫中设置为浏览器的ua。
第四，Cookie
一般而言，在用户登录或某些操作之后，服务器端会在返回包中包含Cookie信息，要求浏览器设置Cookie，没有Cookie很容易被识别为伪造请求；还有本地通过JS，根据服务器端返回的某一信息处理生成的加密信息，设置在Cookie中。
第五，JavaScript加密操作
敏感数据通常是通过javascript进行加密的。例如，qq空间将RSA加密用户登录密码，然后发送到服务器。因此，爬虫需要在模拟登录时要求公钥并加密。
第六，定制字段
http的headers可以定制地区，因此第三者可能会追加定制的地区名称和地区值，也需要注意。