python 协程 greenlet gevent

一、并发的本质

切换+保存状态

cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长时间片到了

二、协程

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）

2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

三、协程的优缺点

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

四、协程的特点

1. 必须在只有一个单线程里实现并发

2. 修改共享数据不需加锁

3. 用户程序里自己保存多个控制流的上下文栈

4. 附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制））

　　（协程：本质是一个线程，能够在多个任务切换节省IO时间，任务切换耗时短，协程任务切换由程序完成）

五、在任务中切换的例子

def consumer():
    while True:
        x = yield
        print('deal:',x)

def producer():
    c = consumer()
    next(c)
    for i in range(10):
        print('generate:',i)
        c.send(i)
producer()

六、greenlet

简单实例

#使用greenlet实现任务切换
from greenlet import greenlet

def eat():
    print('eat start')
    g2.switch()
    print('eat end')
    g2.switch()

def play():
    print('playing start')
    g1.switch()
    print('playing end')

g1 = greenlet(eat)
g2 = greenlet(play)
g1.switch()

实例的执行顺序

七、gevent

gevent

Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

简介

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合作一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

例子1

#如果没有遇到能识别的IO操作，不会进行任务切换，实现并发效果
#要加上from gevent import monkey;monkey.patch_all()
from gevent import monkey;monkey.patch_all()
import gevent,time

def eat():
    print('eat start')
    time.sleep(1)
    print('eat end')

def play():
    print('playing start')
    time.sleep(1)
    print('playing end')

g1 = gevent.spawn(eat)
g2 = gevent.spawn(play)

g1.join()
g2.join()

例子2

#我们可以用threading.current_thread().getName()来查看每个g1和g2，查看的结果为DummyThread-n，即假线程
from gevent import monkey;monkey.patch_all()
import threading
import gevent
import time

def eat():
    print(threading.current_thread().getName())
    print('eat food 1')
    time.sleep(2)
    print('eat food 2')

def play():
    print(threading.current_thread().getName())
    print('play 1')
    time.sleep(1)
    print('play 2')

g1=gevent.spawn(eat)
g2=gevent.spawn(play)
gevent.joinall([g1,g2])
print('主')

同步、异步效果

from gevent import monkey;monkey.patch_all()
import gevent
import time

def task():
    time.sleep(1)
    print(123)

def synchronouse():
    for i in range(10):
        task()

def asynchronouse():
    g_lst=[]
    for i in range(10):
        g = gevent.spawn(task)
        g_lst.append(g)
    gevent.joinall(g_lst)

synchronouse()
print('---')
asynchronouse()

例子-获取网站源码

from gevent import monkey;monkey.patch_all()
import requests
import gevent

url = ['http://www.baidu.com',
       'http://www.sogou.com',
       'http://www.hao123.com',
       'http://www.taobao.com',
       'http://www.cnblog.com']

def get_url(url):
    res = requests.get(url)
    content = res.content
    return len(content)

g_lst = []
for i in url:
    g_lst.append(gevent.spawn(get_url,i))

gevent.joinall(g_lst)

for i in g_lst:
    print(i.value)

python 协程 greenlet gevent

猜你喜欢