python asyncio+aiohttp异步请求 批量快速验证代理IP是否可用

一、爬虫代理

1. 代理的作用

对于爬虫来说，由于爬虫爬取速度过快，在爬取过程中可能遇到同一个 IP 访问过于频繁的问题，此时网站就会让我们输入验证码登录或者直接封锁 IP，这样会给爬取带来极大的不便。

使用代理隐藏真实的 IP，让服务器误以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理，就不会被封锁，可以达到很好的爬取效果。

• 突破自身 IP 访问限制，访问一些平时不能访问的站点。
• 访问一些单位或团体内部资源，如使用教育网内地址段免费代理服务器，就可以用于对教育网开放的各类 FTP 下载上传，以及各类资料查询共享等服务。
• 提高访问速度，通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，也将其保存到缓冲区中，当其他用户再访问相同的信息时， 则直接由缓冲区中取出信息，传给用户，以提高访问速度。
• 隐藏真实 IP，上网者也可以通过这种方法隐藏自己的 IP，免受攻击，对于爬虫来说，我们用代理就是为了隐藏自身 IP，防止自身的 IP 被封锁。

2. 代理分类

代理分类时，既可以根据协议区分，也可以根据其匿名程度区分，总结如下：

根据协议区分

• FTP 代理服务器，主要用于访问 FTP 服务器，一般有上传、下载以及缓存功能，端口一般为 21、2121 等。
• HTTP 代理服务器，主要用于访问网页，一般有内容过滤和缓存功能，端口一般为 80、8080、3128 等。
• SSL/TLS 代理，主要用于访问加密网站，一般有 SSL 或 TLS 加密功能（最高支持 128 位加密强度），端口一般为 443。
• RTSP 代理，主要用于 Realplayer 访问 Real 流媒体服务器，一般有缓存功能，端口一般为 554。
• Telnet 代理，主要用于 telnet 远程控制（黑客入侵计算机时常用于隐藏身份），端口一般为 23。
• POP3/SMTP 代理，主要用于 POP3/SMTP 方式收发邮件，一般有缓存功能，端口一般为 110/25。
• SOCKS 代理，只是单纯传递数据包，不关心具体协议和用法，所以速度快很多，一般有缓存功能，端口一般为 1080。SOCKS 代理协议又分为 SOCKS4 和 SOCKS5，SOCKS4 协议只支持 TCP，而 SOCKS5 协议支持 TCP 和 UDP，还支持各种身份验证机制、服务器端域名解析等。简单来说，SOCK4 能做到的 SOCKS5 都可以做到，但 SOCKS5 能做到的 SOCK4 不一定能做到。

根据匿名程度区分

• 高度匿名代理，高度匿名代理会将数据包原封不动的转发，在服务端看来就好像真的是一个普通客户端在访问，而记录的 IP 是代理服务器的 IP。
• 普通匿名代理，普通匿名代理会在数据包上做一些改动，服务端上有可能发现这是个代理服务器，也有一定几率追查到客户端的真实 IP。代理服务器通常会加入的 HTTP 头有 HTTP_VIA 和 HTTP_X_FORWARDED_FOR。
• 透明代理，透明代理不但改动了数据包，还会告诉服务器客户端的真实 IP。这种代理除了能用缓存技术提高浏览速度，能用内容过滤提高安全性之外，并无其他显著作用，最常见的例子是内网中的硬件防火墙。
• 间谍代理，间谍代理指组织或个人创建的，用于记录用户传输的数据，然后进行研究、监控等目的的代理服务器。

常见代理类型

• 寻找网上的免费代理，最好挑选高度匿名代理，使用前抓取下来筛选一下可用代理，也可以进一步维护一个代理池。
• 使用付费代理服务，互联网上存在许多代理商，可以付费使用，质量比免费代理好很多。
• ADSL 拨号，拨一次号换一次 IP，稳定性高，也是一种比较有效的解决方案。
• 蜂窝代理，即用 4G 或 5G 网卡等制作的代理，由于蜂窝网络用作代理的情形较少，因此整体被封锁的几率会较低，但搭建蜂窝代理的成本较高。

3. requests 和 aiohttp 设置代理

对于 requests 来说，代理设置非常简单，只需传入 proxies 参数即可

代码如下：

import requests


proxy = '221.180.170.104:8080'
proxies = {
   'http': 'http://' + proxy,
   'https': 'https://' + proxy,
}
try:
   response = requests.get('http://httpbin.org/ip', proxies=proxies)
   print(response.text)

except Exception as e:
   print('Error', e.args)

运行结果如下：

{
  "origin": "221.180.170.104"
}

对于 aiohttp 来说，可以通过 proxy 参数直接设置即可，HTTP 代理设置如下：

import asyncio
import aiohttp

proxy = 'http://140.143.6.16:1080'


async def main():
   async with aiohttp.ClientSession() as session:
       try:
           async with session.get('http://httpbin.org/ip', proxy=proxy) as response:
               print(await response.text())
       except Exception as e:
           print('Error：', e.args)

if __name__ == '__main__':
   asyncio.get_event_loop().run_until_complete(main())

运行结果如下：

{
  "origin": "140.143.6.16"
}

运行结果的 origin 如果是代理服务器的 IP，则证明代理已经设置成功。

二、批量快速验证代理IP是否可用

将网站的代理爬取下来后，就需要批量快速的验证代理IP是否可用。

代理的数量很多的时候，为了提高代理的检测效率，使用异步请求库 aiohttp 来进行检测。

requests 作为一个同步请求库，我们在发出一个请求之后，程序需要等待网页加载完成之后才能继续执行。也就是这个过程会阻塞等待响应，如果服务器响应非常慢，比如一个请求等待十几秒，那么我们使用 requests 完成一个请求就会需要十几秒的时间，程序也不会继续往下执行，而在这十几秒的时间里程序其实完全可以去做其他的事情，比如调度其他的请求或者进行网页解析等。

对于响应速度比较快的网站来说，requests 同步请求和 aiohttp 异步请求的效果差距没那么大。可对于检测代理的网站来说，检测一个代理获得响应需要等待的时间较长，这时候使用 aiohttp 异步请求库的优势就体现出来了，检测效率会大大提高。

读取数据：

with open('代理IP数据.txt', 'r', encoding='utf-8') as f:
    con = f.readlines()
    print(f'共有代理IP数据：{len(con)}条')

运行结果如下：

共有代理IP数据：1690条

Process finished with exit code 0

批量验证代理IP是否可用：

import asyncio
import aiohttp
import re


with open('代理IP数据.txt', 'r', encoding='utf-8') as f:
    con = f.readlines()
    print(f'共有代理IP数据：{len(con)}条')

proxy_ips = []
for x in con:
    m = x.split('@')
    proxy_ips.append(m[0])

print(proxy_ips)
n = len(proxy_ips)
useful_ip = []


async def test(i):
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(ssl=False)) as session:
        try:
            async with session.get('http://httpbin.org/ip', proxy=f'http://{proxy_ips[i]}') as response:
                result = await response.text()
                print(result)
                datas = re.findall('"(.*?)": "(.*?)"', result)
                _, proxy = datas[0]
                if proxy in proxy_ips[i]:
                    useful_ip.append(proxy_ips[i])
                    print(f'该代理ip有效：{proxy_ips[i]}')
        except Exception as e:
            print('Error', e)


scrape_index_tasks = [asyncio.ensure_future(test(x)) for x in range(n)]
loop = asyncio.get_event_loop()
tasks = asyncio.gather(*scrape_index_tasks)
loop.run_until_complete(tasks)
print(useful_ip)

with open('可用代理IP.txt', 'w') as f:
    for item in useful_ip:
        f.write(item + '\n')

运行效果如下：

使用异步请求库 aiohttp 来进行检测代理IP是否可用，相比于requests 同步请求来说，效率非常快，程序运行成功，初步筛选出了部分可用代理IP，并保存到了txt里。