一般我们是通过动态创建子进程(或子线程)来实现并发服务器的,但是会存在这样一些缺点:
1、动态创建进程(或线程)比较耗费时间,这将导致较慢的服务器响应。
2、动态创建的子进程通常只用来为一个客户服务,这样导致了系统上产生大量的细微进程(或线程)。进程和线程间的切换将消耗大量CPU时间。
3、动态创建的子进程是当前进程的完整映像,当前进程必须谨慎的管理其分配的文件描述符和堆内存等系统资源,否则子进程可能复制这些资源,从而使系统的可用资源急剧下降,进而影响服务器的性能。 所以呢,就引入了进程池与线程池的概念。
首先我们先来一个简单的例子来看下两者实现有什么区别:
#并发十条线程求1加到1亿的和
import threadpool
#调用sum函数求和
def sum(start,end):
sum=0
for i in range(start,end+1):
sum+=i
return sum
#定义结果统一回调
totalsum=0
def onresult(req,sum):
global totalsum
totalsum+=sum
#并发10条线程并求和
def threadpoolSum():
# 创建需求列表
reqlist = []
for i in range(10):
reqlist.append(([i * 10 ** 7 + 1, 10 ** 7 * (i + 1)], None))
#创建需求
reqs = threadpool.makeRequests(sum, reqlist, callback=onresult)
# 创建线程为10的线程池
mypool = threadpool.ThreadPool(10)
#把需求添加到线程池
for item in reqs:
mypool.putRequest(item)
# 阻塞等待
mypool.wait()
# 打印结果
print(totalsum)
#程序主入口
if __name__ == '__main__':
threadpoolSum()
接下来我们来看下进程池:
import multiprocessing
#调用sum函数求和
def sum(start,end):
sum=0
for i in range(start,end+1):
sum+=i
return sum
#结果统一回调并处理
totalsum=0
def onresult(sum):
global totalsum
totalsum+=sum
def MultiprocessPoolSum():
#创建10条进程池
mypool = multiprocessing.Pool(10)
#并发10条进程
for i in range(10):
mypool.apply_async(sum, (i * 10 ** 7 + 1, 10 ** 7 * (i + 1)), callback=onresult)
#关闭进程池
mypool.close()
#阻塞等待
mypool.join()
print(totalsum)
#程序主入口
if __name__ == '__main__':
MultiprocessPoolSum()
尽管进程和线程两者大体相似,但还是有所区别: 首先体现在并发上: 线程池并发数据需要先创建需求,再添加得到线程池当中,而进程池它默认就有两种并发模式,第一种是apply,这是进程的同步,而第二种apply_async则是异步,不需要先创建需求。 其次体现在回调上: 线程池默认回调上,其除了自身返回的结果外,它还会单独的返回一个系统的(告诉我们那条线程完成了什么任务);而进程池回调就是我们所返回的值,系统不会单独回调一个值。