python grequest模块使用备忘录

手里上有一批链接，需要检查他们是否已经被删除。本来是想用多线程的，但是考虑了下一个是实现起来稍繁琐。而且性能不理想，单机基本超过10线程基本上就没有太多增益了。

所以考虑了下，还是决定用异步IO。

在使用grequest之前用的是aiohttp来处理的，但是这个库蛋疼的时，每个延时请求前都要添加await，导致代码里一堆await和async。

基于此，就找到了grequest。

写代码的方式还是以同步的思路来写的，只不过grequest会在底层帮你把代码转换成异步IO。

代码如下

import grequests
 
urls = [
    'http://www.baidu.com',
    'http://www.qq.com',
    'http://www.163.com',
    'http://www.zhihu.com',
    'http://www.toutiao.com',
    'http://www.douban.com'
]
 
>>> rs = (grequests.get(u) for u in urls)
>>> grequests.map(rs)
[<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, None, <Response [200]>]
 
>>> def exception_handler(request, exception):
...    print("Request failed")
 
>>> reqs = [
...    grequests.get('http://httpbin.org/delay/1', timeout=0.001),
...    grequests.get('http://fakedomain/'),
...    grequests.get('http://httpbin.org/status/500')]
>>> grequests.map(reqs, exception_handler=exception_handler)
Request failed
Request failed
[None, None, <Response [500]>]

但是，这里有个问题。就是grequest的map模块在遇到请求超时、异常时返回的Response是None的。
这个就有点坑了，因为我有几千个URL，而且还涉及不同的网站。其中有些网站可能已经关站，或者由于网速问题，超时了。

所以，这里把map模块做了一下调整。

直接把grequests模块的源码复制一份，然后增加以下模块。

ggrequests.py
```python
...
def extract_item(request):
"""
提取request的内容
"""
item = dict()
item['url'] = request.url
item['text'] = request.response.text or ''
item['status_code'] = request.response.status_code or 0
return item

def map(requests, stream=False, size=None, exception_handler=None, gtimeout=None):
"""将Request列表转换为Response。
:param 请求:Request对象的集合。
:param stream:如果为True，则内容不会立即下载。
:param size:指定单次请求的数量。如果为空，则没有限制。
:param exception_handler:回调函数，当发生异常时调用。参数:请求，例外
:param gtimeout:几秒钟内Gevent连接超时。（注意:与请求超时无关）
"""

requests = list(requests)

pool = Pool(size) if size else None
jobs = [send(r, pool, stream=stream) for r in requests]
gevent.joinall(jobs, timeout=gtimeout)

ret = []
# 这里就是请求成功后处理Response的地方
for request in requests:
    if request.response is not None:
        ret.append(extract_item(request))
    elif exception_handler and hasattr(request, 'exception'):
        ret.append(exception_handler(request, request.exception))
    else:
        ret.append(extract_item(request))

return ret

...
用起来就很简单了

import ggrequests as grequests
 
urls = [
    'http://www.baidu.com',
    'http://www.qq.com',
    'http://www.163.com',
    'http://www.zhihu.com',
    'http://www.toutiao.com',
    'http://www.douban.com'
]
rs = (grequests.get(u) for u in urls)
response_list = grequests.map(rs, gtimeout=10)
for response in response_list:
    print(response)

python grequest模块使用备忘录

猜你喜欢