python——asyncio模块实现协程、异步编程(一)

 

我们都知道,现在的服务器开发对于IO调度的优先级控制权已经不再依靠系统,都希望采用协程的方式实现高效的并发任务,如js、lua等在异步协程方面都做的很强大。

Python在3.4版本也加入了协程的概念,并在3.5确定了基本完善的语法和实现方式。同时3.6也对其进行了如解除了await和yield在同一个函数体限制等相关的优化。

event_loop 事件循环:程序开启一个无限的循环,程序员会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。
coroutine 协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用。
task 任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含任务的各种状态。
future: 代表将来执行或没有执行的任务的结果。它和task上没有本质的区别
async/await 关键字:python3.5 用于定义协程的关键字,async定义一个协程,await用于挂起阻塞的异步调用接口。

【一】创建协程

首先定义一个协程,在def前加入async声明,就可以定义一个协程函数。

一个协程函数不能直接调用运行,只能把协程加入到事件循环loop中。asyncio.get_event_loop方法可以创建一个事件循环,然后使用run_until_complete将协程注册到事件循环,并启动事件循环。

例如:

[python] view plain copy

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.    
  6. loop = asyncio.get_event_loop()  
  7.   
  8. loop.run_until_complete(fun())  

【二】任务对象task

协程对象不能直接运行,在注册事件循环的时候,其实是run_until_complete方法将协程包装成为了一个任务(task)对象。所谓task对象是Future类的子类。保存了协程运行后的状态,用于未来获取协程的结果。

例如:

[python] view plain copy

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.     return 'miao'  
  6.    
  7. loop = asyncio.get_event_loop()  
  8. task = loop.create_task(fun())  
  9. print(task)  
  10. loop.run_until_complete(task)  
  11. print(task)  


创建task后,task在加入事件循环之前是pending状态,因为do_some_work中没有耗时的阻塞操作,task很快就执行完毕了。后面打印的finished状态。
asyncio.ensure_future 和 loop.create_task都可以创建一个task,run_until_complete的参数是一个futrue对象。当传入一个协程,其内部会自动封装成task,task是Future的子类。isinstance(task, asyncio.Future)将会输出True。



【三】绑定回调

在task执行完毕的时候可以获取执行的结果,回调的最后一个参数是future对象,通过该对象可以获取协程返回值。如果回调需要多个参数,可以通过偏函数导入。

例如:

[python] view plain copy

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.     return 'miao'  
  6.    
  7.   
  8. def callback(future):  
  9.     print('Callback: ', future.result())  
  10.    
  11. loop = asyncio.get_event_loop()  
  12. task = loop.create_task(fun())  
  13. #print(task)  
  14. task.add_done_callback(callback)  
  15. loop.run_until_complete(task)  
  16. #print(task)  


也可以使用ensure_future获取返回值

例如:

[python] view plain copy

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.     return 'miao'  
  6.    
  7.   
  8. #def callback(future):  
  9.     #print('Callback: ', future.result())  
  10.    
  11. loop = asyncio.get_event_loop()  
  12. #task = loop.create_task(fun())  
  13. #task.add_done_callback(callback)  
  14. task = asyncio.ensure_future(fun())  
  15. loop.run_until_complete(task)  
  16.   
  17. print('the fun() return is: {}'.format(task.result()))  
  18.   
  19.    


 

【四】await阻塞

使用async可以定义协程对象,使用await可以针对耗时的操作进行挂起,就像生成器里的yield一样,函数让出控制权。协程遇到await,事件循环将会挂起该协程,执行别的协程,直到其他的协程也挂起或者执行完毕,再进行下一个协程的执行。
耗时的操作一般是一些IO操作,例如网络请求,文件读取等。我们使用asyncio.sleep函数来模拟IO操作。协程的目的也是让这些IO操作异步化。

例如:

[python] view plain copy

  1. #coding:utf-8    
  2. import asyncio  
  3. import threading    
  4. import time   
  5. async def hello():  
  6.     print("hello 1")  
  7.     r = await asyncio.sleep(1)  
  8.     print("hello 2")  
  9.     
  10.   
  11. def main():  
  12.     loop = asyncio.get_event_loop()  
  13.   
  14.     print("begin")  
  15.     loop.run_until_complete(hello())   
  16.     loop.close()  
  17.     print("end")  
  18.   
  19.   
  20. if __name__ == "__main__":  
  21.     main()  


【五】3.6更新

①可以在同一个协程函数中同时使用await和yield

例如:

[python] view plain copy

  1. import asyncio  
  2. async def ticker(delay, to):  
  3.     for i in range(to):  
  4.         yield i  
  5.         await asyncio.sleep(delay)  
  6.   
  7.   
  8. async def run():  
  9.     async for i in ticker(1, 10):  
  10.         print(i)  
  11.   
  12. loop = asyncio.get_event_loop()  
  13. try:  
  14.     loop.run_until_complete(run())  
  15. finally:  
  16.   
  17.     loop.close()  

顺带一提,yield 我们可以暂且认为是一种中断机制(详情可以参考官方文档,这种解释只是便于说明await)

例如:

[python] view plain copy

  1. def a():  
  2.     print("first")    
  3.     yield     
  4.     print("second")   
  5.     yield    
  6.     print("end")   
  7.     yield   
  8.   
  9. if __name__ == "__main__":  
  10.   
  11.     g1=a()  
  12.     print("next1")  
  13.     g1.__next__()  
  14.     print("next2")  
  15.     g1.__next__()  
  16.     print("next3")  
  17.     g1.__next__()  


②允许在协程函数中异步推导式

例如:

[python] view plain copy

  1. async def ticker(delay, to):  
  2.     for i in range(to):  
  3.         yield i  
  4.         await asyncio.sleep(delay)  
  5.   
  6. async def run():  
  7.     result = [i async for i in ticker(1, 10) if i%2]  
  8.     print(result)  
  9. import asyncio  
  10. loop = asyncio.get_event_loop()  
  11. try:  
  12.   
  13.     loop.run_until_complete(run())  
  14. finally:  
  15.   
  16.     loop.close()  

猜你喜欢

转载自blog.csdn.net/liujiandu101/article/details/81136385
今日推荐