代理池proxy_pool的安装与配置

一.代理ip的分类:
1.免费的代理IP,例如:西刺免费代理IP,可用的IP少,时效性较短,大部分的代理IP可能在访问网站时都是失效的。
http://www.xicidaili.com/
2.收费的代理IP,例如:迅代理
https://h.wandouip.com/product
在这里插入图片描述
3爬取国外的网站,例如:VPN代理,指在共用网络上建立专用网络的技术。之所以称为虚拟网主要是因为整个VPN网络的任意两个结点之间的连接并没有传统专网建设所需的点到点的物理链路,而是架构在公用网络服务商ISP所提供的网络平台之上的逻辑网络。用户的数据是通过ISP在公共网络(Internet)中建立的逻辑隧道(Tunnel),即点到点的虚拟专线进行传输的。通过相应的加密和认证技术来保证用户内部网络数据在公网上安全传输,从而真正实现网络数据的专有性。
二.proxy_pool:
1.它将国内的代理IP网站都进行了爬取;
2.代理IP爬取完毕之后,会进行检测,可用的IP会保存到数据库redis中;
3.会定期将数据库中的代理IP拿出来检测,失效的IP从数据库中删除;
4.支持扩展
三.下载proxy_pool的步骤:
1.百度搜索:GitHub,进入官网,搜索proxy_pool
在这里插入图片描述
在这里插入图片描述
3.下载完成后,解压到d盘文件夹中
4.将D盘相应文件夹中依赖包后面的版本号去掉,改成下列的形式:
在这里插入图片描述
5.cmd命令行输入以下命令:

pip install -r requirements.txt

在这里插入图片描述
6.D:\proxy_pool-master\ProxyGetter\getFreeProxy中删除几行代码
在这里插入图片描述
在这里插入图片描述
7.找到D:\proxy_pool-master\Test\testWebRequest,并打开
在这里插入图片描述

8.关于代理IP的配置就进行到这里。
四.Redis的安装
下载地址https://github.com/MSOpenTech/redis/releases
1.在这里插入图片描述
2.安装的过程中,一直“next”,除了下面的打 对勾 之外,其他的都默认,不需要更改。直到“finish”
在这里插入图片描述
更改路径:保存在D盘/Redis文件夹里
3.打开cmd,输入以下命令:

redis-server.exe redis.windows.conf
netstat -aon|findstr ‘6379’
taskkill /pid 4364 /f

在这里插入图片描述
4.右击‘计算机’,管理,找到‘服务’,然后开启Redis。
在这里插入图片描述
5.打开cmd,输入以下命令
在这里插入图片描述
6.如果运行的过程中,出现错误,解决方案:ctrl+c退出cmd命令的运行。同时可到D:\proxy_pool-master\ProxyGetter\getFreeProxy.py文件中删除对应的未响应的代理函数。
在这里插入图片描述
7.再次运行,键盘上向上的箭头可快速写入以前的命令,最终出来的结果为:
在这里插入图片描述
小黑窗口不能关闭,否则http://127.0.0.1:5010/get_all/网址无法访问

猜你喜欢

转载自blog.csdn.net/niuming_rui/article/details/82765234