本章所讲内容：
1、协程的概念
2、greenlet模块
3、gevent的使用
4、使用gevent完成多任务图片下载
18.1 协程的概念
协程，又称微线程，纤程,也称为用户级线程，在不开辟线程的基础上完成多任务，也就是在单线程的情况下完成多任务，多个任务按照一定顺序交替执行 通俗理解只要在def里面只看到一个yield关键字表示就是协程 协程是也是实现多任务的一种方式
协程yield的代码实现
简单实现协程
def work1():
while True:
print("----work1---")
yield
time.sleep(0.5)
def work2():
while True:
print("----work2---")
yield
time.sleep(0.5)
def main():
w1 = work1()
w2 = work2()
while True:
next(w1)
next(w2)
if __name__ == "__main__":
main()
运行结果：----work1---
----work2---
----work1---
----work2---
...省略...
小结:
协程之间执行任务按照一定顺序交替执行
18.2 Greenlet模块
18.2.1 greentlet的介绍
为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单！
使用命令安装greenlet模块:pip3 install greenlet
import time
import greenlet
def work1():
for i in range(5):
print('work1...')
time.sleep(0.2)
#切换到协程2里面执行对应的任务
g2.switch()
#任务2
def work2():
for i in range(5):
print('work2...')
time.sleep(0.2)
#切换到第一个协程执行对应的任务
g1.switch()
if __name__ == '__main__':
#创建协程指定的对应任务
g1 = greenlet.greenlet(work1)
g2 = greenlet.greenlet(work2)
#切换到第一个协程执行对应的任务
g1.switch()运行结果如下：
work1...
work2...
work1...
work2...
work1...
work2...
……
18.3 Gevent
18.3.1 Gevent的介绍
Greenlet已经实现了协程，但是这个还要人工切换，这里介绍一个比Greenlet更强大而且能够自动切换任务的第三方库，那就是Gevent。
Gevent内部封装的Greenlet，其原理是当一个Greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的Greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。
由于IO操作非常耗时，经常使程序处于等待状态，有了Gevent为我们自动切换协程，就保证总有Greenlet在运行，而不是等待IO
安装：pip3 install gevent
1. gevent的使用
import gevent
def work(n):
for i in range(n):
# 获取当前协程
print(gevent.getcurrent(), i)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()运行结果如下：
<Greenlet at 0x10e49f550: f(5)> 0
<Greenlet at 0x10e49f550: f(5)> 1
<Greenlet at 0x10e49f550: f(5)> 2
<Greenlet at 0x10e49f550: f(5)> 3
<Greenlet at 0x10e49f550: f(5)> 4
<Greenlet at 0x10e49f910: f(5)> 0
……
可以看到，3个greenlet是依次运行而不是交替运行
18.3.2 gevent切换执行
import gevent
def work(n):
for i in range(n):
# 获取当前协程
print(gevent.getcurrent(), i)
gevent.sleep(1)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()运行结果
<Greenlet at 0x7fa70ffa1c30: f(5)> 0
<Greenlet at 0x7fa70ffa1870: f(5)> 0
<Greenlet at 0x7fa70ffa1eb0: f(5)> 0
<Greenlet at 0x7fa70ffa1c30: f(5)> 1
<Greenlet at 0x7fa70ffa1870: f(5)> 1
<Greenlet at 0x7fa70ffa1eb0: f(5)> 1
<Greenlet at 0x7fa70ffa1c30: f(5)> 2
<Greenlet at 0x7fa70ffa1870: f(5)> 2
<Greenlet at 0x7fa70ffa1eb0: f(5)> 2
<Greenlet at 0x7fa70ffa1c30: f(5)> 3
<Greenlet at 0x7fa70ffa1870: f(5)> 3
<Greenlet at 0x7fa70ffa1eb0: f(5)> 3
<Greenlet at 0x7fa70ffa1c30: f(5)> 4
<Greenlet at 0x7fa70ffa1870: f(5)> 4
<Greenlet at 0x7fa70ffa1eb0: f(5)> 4
18.3.3 给程序打补丁
import gevent
import time
from gevent import monkey
# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):
for i in range(num):
print("work1....")
time.sleep(0.2)
# gevent.sleep(0.2)
# 任务1
def work2(num):
for i in range(num):
print("work2....")
time.sleep(0.2)
# gevent.sleep(0.2)
if __name__ == '__main__':
# 创建协程指定对应的任务
g1 = gevent.spawn(work1, 3)
g2 = gevent.spawn(work2, 3)
# 主线程等待协程执行完成以后程序再退出
g1.join()
g2.join()运行结果
work1....
work2....
work1....
work2....
work1....
work2....
注意：
当前程序是一个死循环并且还能有耗时操作，就不需要加上join方法了,因为程序需要一直运行不会退出
示例代码
import gevent
import time
from gevent import monkey
# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):
for i in range(num):
print("work1....")
time.sleep(0.2)
# gevent.sleep(0.2)
# 任务1
def work2(num):
for i in range(num):
print("work2....")
time.sleep(0.2)
# gevent.sleep(0.2)
if __name__ == '__main__':
# 创建协程指定对应的任务
g1 = gevent.spawn(work1, 3)
g2 = gevent.spawn(work2, 3)
while True:
print("主线程中执行")
time.sleep(0.5)运行结果如下:
主线程中执行
work1....
work2....
work1....
work2....
work1....
work2....
主线程中执行
主线程中执行
主线程中执行
使用gevent完成多任务图片下载
多图片下载任务！
import gevent
import urllib.request # 网络请求模块
from gevent import monkey
# 打补丁： 让gevent使用网络请求的耗时操作，让协程自动切换执行对应的下载任务
monkey.patch_all()
# 根据图片地址下载对应的图片
def download_img(img_url, img_name):
try:
print(img_url)
# 根据图片地址打开网络资源数据
response = urllib.request.urlopen(img_url)
# 创建文件把数据写入到指定文件里面
with open(img_name, "wb") as img_file:
while True:
# 读取网络图片数据
img_data = response.read(1024)
if img_data:
# 把数据写入到指定文件里面
img_file.write(img_data)
else:
break
except Exception as e:
print("图片下载异常:", e)
else:
print("图片下载成功: %s" % img_name)
if __name__ == '__main__':
# 准备图片地址
img_url1 = 'http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg'
img_url2 = "http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg"
img_url3 = "http://p3.so.qhmsg.com/bdr/864__/t01f9daf42a666bb408.jpg"
# 创建协程指派对应的任务
g1 = gevent.spawn(download_img, img_url1, "1.jpg")
g2 = gevent.spawn(download_img, img_url2, "2.jpg")
g3 = gevent.spawn(download_img, img_url3, "3.jpg")
# 主线程等待所有的协程执行完成以后程序再退出
gevent.joinall([g1, g2, g3])运行结果如下：
http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg
http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg
http://p1.so.qhimgs1.com/bdr/594__/t012c11259e883bbc8d.jpg
图片下载成功: 2.jpg
图片下载成功: 1.jpg
图片下载成功: 3.jpg
分析：
从上面的结果可以看到依次根据图片地址去下载，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定
import gevent,requests
from gevent import monkey
from urllib import request
monkey.patch_all()
def download_img(num):
print('start download')
url = 'http://image.so.com/zj?ch=beauty&sn=30&listtype=new&temp=1'
headers = {
'Referer': 'http://image.so.com/z?ch=beauty',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
}
str_data = '''ch: beauty
sn: 120
listtype: new
temp: 1
'''
send_data = {}
for data in str_data.splitlines():
line_data = data.split(': ')
if len(line_data) == 2:
key, value = line_data
if key and value:
send_data[key] = value
send_data['sn'] = eval(str(num)+'*'+'30')
response = requests.get(url, headers=headers, params=send_data)
json_data = response.json()['list']
for index, src in enumerate(json_data):
image_url = src['qhimg_url']
try:
image_name = './360_image/' + image_url[-8:]
request.urlretrieve(url=image_url, filename=image_name)
except Exception as e:
print(e)
else:
print('{} is download'.format(image_name))
print('image is download')
if __name__ == '__main__':
num = int(input('请输入你想要的组:'))
# gevent_list = []
# for i in range(1,num+1):
# gevent_list.append(gevent.spawn(download_img,i))
gevent.joinall([gevent.spawn(download_img,i) for i in range(1,num+1)])运行结果如下：
总结：
1、协程的概念
2、greenlet模块
3、gevent的使用
4、使用gevent完成多任务图片下载
