Python通过代理ip访问网站

代理

步骤：

1.参数是一个字典{‘类型’:‘代理ip：端口号’}

proxy_support=urllib.request.ProxyHandler({
    
    })

2.定制，创建一个opener

opener=urllib.request.build_opener(proxy_support)

3a.安装opener

urllib.request.install_opener(opener)

3b.调用opener

opener_open（url）

如何加headers头

代理ip也可以弄Use-Agent，在第二步下方加上如下代码

opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3866.400 QQBrowser/10.8.4379.400')]

即可

实现代码

至于代理ip去哪找的话，可以在这里寻找，国内代理服务器

单独的代理ip：

import urllib.request

url='https://www.baidu.com/'

proxy_support=urllib.request.ProxyHandler({
    
    'http':'165.227.35.172:8768'})

opener=urllib.request.build_opener(proxy_support)

urllib.request.install_opener(opener)

response=urllib.request.urlopen(url)

html=response.read().decode('utf-8')

print(html)

代理ip形成一个list：

mport urllib.request
import random
url='https://www.baidu.com/'

iplist=['165.227.35.172:8768','165.227.35.172:8768','165.227.35.172:8768']


proxy_support=urllib.request.ProxyHandler({
    
    'http':random.choice(iplist)})

opener=urllib.request.build_opener(proxy_support)

urllib.request.install_opener(opener)

response=urllib.request.urlopen(url)

html=response.read().decode('utf-8')

print(html)