代理IP中的 proxies 介绍及使用

proxies

proxies的格式是一个字典：{ ‘http’: ‘http://42.84.226.65:8888‘ }

有 http 与 https 两种，在爬取不同网站时我们需要选用不同类型的网站时选用不同的 proxise，

在不知道网站类型时可以将两种类型均放进去，requests 会自动选择合适的。

proxies = {
  "http": "http://10.10.1.10:3128",   # http  型的
  "https": "http://10.10.1.10:1080"   # https 型的
}

 

误区：

（1）如果你是这样子的，但是你要爬的网页是 https 型的

         requests 可以请求成功，但是请求使用的是你的真实ip地址，所以相当于代理ip，没有起作用。

proxies = {
  "https": "http://10.10.1.10:1080"
}

（2）如果你是这样子的，但是你要爬的网页是 http 型的

         requests 可以请求成功，但是请求使用的是你的真实ip地址，所以相当于代理ip，没有起作用。

proxies = {
  "https": "http://10.10.1.10:1080"
}

注意：

只有当你的proxies类型与你想访问的网站类型相同，代理ip才会起作用

可以用以下代码检验你的代理ip是否成功启用

import requests

proxies = {
	"https": "http://10.10.1.10:1080"
}
req = requests.get('http://icanhazip.com/', proxies=proxies)
print(req.content)  

# 访问 http://icanhazip.com/（https://icanhazip.com/） 可以得到你访问时的ip地址