python爬虫之ProxyPool（代理ip地址池的构建）

版权声明：如有使用转载，请附加出处 https://blog.csdn.net/jia666666/article/details/82226045

ProxyPool

---

安装

---

安装Python

至少Python3.5以上

安装Redis

安装好之后将Redis服务开启

Redis环境安装（分布式爬虫数据存储）
https://blog.csdn.net/jia666666/article/details/82216937

配置代理池

cd proxypool

进入proxypool目录，修改settings.py文件

PASSWORD为Redis密码，如果为空，则设置为None

安装依赖

pip3 install -r requirements.txt

打开代理池和API

python3 run.py
运行结果如下，程序会不停的进行ip地址的获取与检测ip地址是否可用，便于用户直接使用

获取代理

利用requests获取方法如下

import requests
#本地端口ip地址获取
PROXY_POOL_URL = 'http://localhost:5555/random'

def get_proxy():
    try:
        #访问程序提供的ip地址获取链接
        response = requests.get(PROXY_POOL_URL)
        #如果获取成功，返回获取的ip地址
        if response.status_code == 200:
            return response.text
    except ConnectionError:
        return None

运行如下

相关文件下载及源码下载:https://download.csdn.net/download/jia666666/10636675