异步IO是python开发中的一个难点,从理解学习用了很长的时间,很枯燥,但他的效率也是不可否否认的.
要学异步IO肯定避不开协程的学习.我的笔记是根据廖雪峰的写的,可以参考廖雪峰
协程又称为微线程,英文名:coroutine,协程的概念很早提出来,但到了最近几年彩在某些语言lua中广泛应用,
子程序,或者称为函数,在所有的语言中都是层级调用,比如A调用B,B在执行过程中调用C,C执行完毕返回,B执行完毕返回,最后A执行完毕.
所以子程序是通过栈实现的,一个线程就是执行一个子程序.
子程序调用总是一个入口,一次但返回,调用顺序也是明确的,协程的调用和子程序不同
协程看上去也是子程序,但执行过程中,在子程序内部可以中断(暂停),然后执行别的子程序,在适当的时候,返回来再接着执行.
注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似于CPU的中断,比如子程序A,B
def A():
print('1')
print('2')
print('3')
def B():
print('x')
print('y')
print('z')假设由协程执行，在执行A的过程中，可以随时中断，去执行B，B也可能在执行过程中中断再去执行A，结果可能是：
1
2
x
y
3
z
但是在A中是没有调用的 ,所以协程的调用比函数的调用理解起来更难一些.
看起来,A,B的执行有点像多线程,但是协程的特点在于是一个线程执行,那和多线程比协程的优势是什么呢?
1.极高的执行效率,因为子程序的切换不是线程的切换,而是由程序自身控制,因此,灭有线程切换的开销,和多线程相比,线程的数量越多,协程的性能优势就越明显.
2.不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多.
因为协程是一个线程执行,那么如何利用多核CPu,最简单的办法就是多线程+协程,充分利用多核,充分发挥协程的高效率,可以获得极高的性能.
python 刚开始的对协程是支持是通过generator生成器实现的
从学习生成器开始理解协程是不可或缺的一个步骤,因为它会让你更快的理解协程.
在generator中可以通过for循环来迭代,还可以不断调用next函数由yield返回下一个值
在python中yield不但可以生成一个值,也可以接收调用者发出的参数.
例子
传统的生产者-消费者模型是一个线程写消息，一个线程取消息，通过锁机制控制队列和等待，但一不小心就可能死锁。
如果改用协程，生产者生产消息后，直接通过yield跳转到消费者开始执行，待消费者执行完毕后，切换回生产者继续生产，效率极高：
"""
1.回调模式编码复杂度高
2.同步编程的并发性不高
3.多线程编程需要线程间同步
1.采用同步的方式去编写异步代码
2.使用单线程去切换任务
1.线程是由操作系统切换的,单线程切换意味着我们需要程序员自己去调度任务
2.不再需要锁,并发性高,如果单线程内切换函数,性能远高于线程切换,并发性高
"""
# 生成器
def gen_func():
html = yield "http://wwww.baidu.com"
print(html) # 传入666之后再输出
yield 1
yield 2
return "1213"
"""
# 启动生成器有两种方式: next,send()
send可以传入值到生成器中,同时重启生成器执行到下一个yield
"""
if __name__ == '__main__':
gen = gen_func()
print(gen.send(None)) # 初次使用Send需要传入None,因为其根本未运行到第一行,所以需要先send到第一行
git = "666"
gen.send(git) # 传入一个数据,并且生成器内部可以自动接收值(变量名不需一致),它会返回下一个yild的值,也就是1,
print(gen.send(git)) # 此时传入git的值,但是yield已经执行到1,所以只能返回2的值
执行结果：:
[PRODUCER] Producing 1...
[CONSUMER] Consuming 1...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 2...
[CONSUMER] Consuming 2...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 3...
[CONSUMER] Consuming 3...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 4...
[CONSUMER] Consuming 4...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 5...
[CONSUMER] Consuming 5...
[PRODUCER] Consumer return: 200 OK可以注意到consumer函数是一个generator,把一个consumer传入produce之后:
1.首先调用c.send(None)激活生成器
2.一旦产生了东西,通过c.send(n)切换到consumer执行
3.consumer通过yield拿到消息,处理,通过yield把结果传回
4.produce拿到consumer处理的结果,继续生产下一条消息.
5.produce决定不生产了,通过c.close()关闭consumer整个过程结束.
整个流程无锁,只有一个线程,produce和consumer协作完成,序偶一称之为协程,而非线程的抢占式多任务.
最后套用Donald Knuth的一句话总结协程的特点：
“子程序就是协程的一种特例。”
以下为自己练习的代码可以参考一下:
"""
1.回调模式编码复杂度高
2.同步编程的并发性不高
3.多线程编程需要线程间同步
1.采用同步的方式去编写异步代码
2.使用单线程去切换任务
1.线程是由操作系统切换的,单线程切换意味着我们需要程序员自己去调度任务
2.不再需要锁,并发性高,如果单线程内切换函数,性能远高于线程切换,并发性高
"""
# 生成器
def gen_func():
html = yield "http://wwww.baidu.com"
print(html)
yield 1
yield 2
return "1213"
"""
# 启动生成器有两种方式: next,send()
send可以传入值到生成器中,同时重启生成器执行到下一个yield
"""
if __name__ == '__main__':
gen = gen_func()
print(gen.send(None)) # 初次使用Send需要传入None,因为其根本未运行到第一行,所以需要先send到第一行
git = "666"
print(gen.send(git)) # 传入一个数据,并且生成器内部可以自动接收值(变量名不需一致)
