Al usar Python para rastrear y visitar un sitio web, la mayoría de las veces debe tener cuidado de que el acceso a la IP sea demasiado frecuente y el sitio web esté bloqueado.
En este momento, debe utilizar el grupo de proxy IP
. Se utiliza el sitio web de IP gratuito en Internet: proxy oculto alto nacional
Código:
import requests
import time
import random
from lxml import etree
# 获取
def get_ip_list(headers, page):
ip_list = []
for i in range(int(page)):
# 爬取免费的IP
url = 'https://www.kuaidaili.com/free/inha/{}/'.format(i+1)
# print("爬取网址为：", url)
#获取代理IP地址
web_data = requests.get(url, headers=headers)
if web_data.status_code == 200:
tree0 = etree.HTML(web_data.text)
ip_lists = tree0.xpath('//table/tbody/tr/td[@data-title="IP"]/text()');
port_lists = tree0.xpath('//table/tbody/tr/td[@data-title="PORT"]/text()')
type_lists = tree0.xpath('//table/tbody/tr/td[@data-title="类型"]/text()')
# print(ip_lists)
# print(port_lists)
for x,y in zip(ip_lists, port_lists):
ip_list.append(x + ":" + y)
time.sleep(3) # 防止访问频率过快，被封
# print(len(ip_list))
return ip_list
# 组建随机IP地址
def get_random_ip(ip_list):
#获取代理IP地址
proxy_list = []
for ip in ip_list:
proxy_list.append('http://' + ip)
proxy_ip = random.choice(proxy_list)
proxies = {
'http': proxy_ip}
return proxies
if __name__ == '__main__':
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
#获取代理IP地址
ip_list = get_ip_list(headers=headers, page=3)
print(ip_list)
