python之生产者消费者模型
生产者消费者模型作用于：
1.爬虫的时候
2.分布式操作：celery
其本质：就是让生产数据和消费数据的效率达到平衡并且最大化的效率
为什么要使用生产者消费者模型？
在并发编程中，如果生产者处理速度很快，而消费者处理速度比较慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个等待的问题，就引入了生产者与消费者模型。让它们之间可以不停的生产和消费。
什么时候用这个模型？
程序中出现明显的两类任务，一类任务是负责生产，另外一类任务是负责处理生产的数据的（如爬虫）
用该模型的好处？
1、实现了生产者与消费者的解耦和
2、平衡了生产力与消费力，就是生产者一直不停的生产，消费者可以不停的消费，因为二者不再是直接沟通的，而是跟队列沟通的。
from multiprocessing import Queue
from multiprocessing import Process
import time
import random
def consumer(q,name): # 消费者:通常取到某些数据之后还要进行某些操作
while True:
food = q.get()
if food:
print("%s吃了%s" % (name, food))
else:
break
def producer(q,name,food): # 生产者：通常在数据之前需要通过某些代码来获取数据
for i in range(10):
foodi = "%s%s" % (food,i)
print("%s生产了%s" % (name,foodi))
# time.sleep(random.randint(1,3))
q.put(foodi)
#q.put(None)
if __name__ == "__main__":
q = Queue()
p1 = Process(target=producer,args=(q,'大壮','泪水'))
c1 = Process(target=consumer,args=(q,'alex'))
c1.start()
p1.start()
p1.join()
大壮生产了泪水0
大壮生产了泪水1
大壮生产了泪水2
大壮生产了泪水3
alex吃了泪水0
alex吃了泪水1
alex吃了泪水2
大壮生产了泪水4
大壮生产了泪水5
alex吃了泪水3
alex吃了泪水4
大壮生产了泪水6
alex吃了泪水5
大壮生产了泪水7
大壮生产了泪水8
大壮生产了泪水9
alex吃了泪水6
alex吃了泪水7
alex吃了泪水8
alex吃了泪水9
现在确实让生产者不停的生产，消费者不断的消费。但此时有一个问题就是主进程没有结束。原因是：生产者p1生产完后就结束了，但是消费者c1,在q.get()取空之后，就一直在原地等待。解决这个问题无非就让生产者在生产完毕后，就再往队列中发送一个结束信号，这样消费者接收到结束信号后就可以跳出死循环。修改如下：
from multiprocessing import Queue
from multiprocessing import Process
import time
import random
def consumer(q,name): # 消费者:通常取到某些数据之后还要进行某些操作
while True:
food = q.get()
if food:
print("%s吃了%s" % (name, food))
else:
break
def producer(q,name,food): # 生产者：通常在数据之前需要通过某些代码来获取数据
for i in range(10):
foodi = "%s%s" % (food,i)
print("%s生产了%s" % (name,foodi))
# time.sleep(random.randint(1,3))
q.put(foodi)
q.put(None) #修改了这里
if __name__ == "__main__":
q = Queue()
p1 = Process(target=producer,args=(q,'大壮','泪水'))
c1 = Process(target=consumer,args=(q,'alex'))
c1.start()
p1.start()
p1.join()