协程是个啥玩意

Python中有一个协程的概念，那么，协程是个啥玩意呢？

协程，又称微线程，纤程。英文名Coroutine。

协程是python个中另外一种实现多任务的方式，只不过比线程更小占用更小执行单元（理解为需要的资源）。为啥说它是一个执行单元，因为它自带CPU上下文。这样只要在合适的时机，我们可以把一个协程切换到另一个协程。只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。

协程和线程的差异

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

实现1（yield）

import time

def a():
    while True:
        print('---1---')
        yield None
        time.sleep(0.5)

def b():
    while True:
        print('---2---')
        yield None
        time.sleep(0.5)

if __name__ == '__main__':
    t1 = a()
    t2 = b()
    while True:
        next(t1)
        next(t2)

运行结果：

循环打印

实现2（greenlet）

from greenlet import greenlet
import time

def a():
    while True:
        print('---1---')
        gr2.switch()
        time.sleep(0.5)

def b():
    while True:
        print('---2---')
        gr1.switch()
        time.sleep(0.5)

if __name__ == '__main__':
    gr1 = greenlet(a)
    gr2 = greenlet(b)

    # 切换到gr1执行
    gr1.switch()

运行结果同上。

实现3（gevent）

greenlet已经实现了协程，但是这个还的人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块，就是gevent。

其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。

import gevent
from gevent import monkey
import time

#打补丁
#如果不打补丁的话，下面就必须写上gevent.sleep(0.5)
monkey.patch_all()

def a():
    while True:
        print('---1---')
        time.sleep(0.5)

def b():
    while True:
        print('---2---')
        time.sleep(0.5)

if __name__ == '__main__':
    g1 = gevent.spawn(a)
    g2 = gevent.spawn(b)

    g1.join()
    g2.join()

运行结果同上。

gevent强大在当有耗时操作的时候，会自动切换其他不耗时的协程。

import gevent
from gevent import monkey
import time

#打补丁
#如果不打补丁的话，下面就必须写上gevent.sleep(0.5)
monkey.patch_all()

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        #用来模拟一个耗时操作
        time.sleep(1)

gevent.joinall([
    gevent.spawn(f, 5),
    gevent.spawn(f, 5),
    gevent.spawn(f, 5)
])

运行结果：

如果我们不加打补丁，即红色部分，则不会自动切换，运行结果如下：

最后附上一个多协程并发下载示例：

from gevent import monkey
import gevent
import urllib.request

#有IO才做时需要这一句
monkey.patch_all()

def my_downLoad(file_name, url):
    print('GET: %s' % url)
    resp = urllib.request.urlopen(url)
    data = resp.read()

    with open(file_name, "wb") as f:
        f.write(data)

    print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
        gevent.spawn(my_downLoad, "1.mp4", 'http://....mp4'),
        gevent.spawn(my_downLoad, "2.mp4", 'http://....mp4'),
])

协程和线程的差异

实现1（yield）

实现2（greenlet）

实现3（gevent）

猜你喜欢