Python 进程、进程池

进程的定义

进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。

在早期面向进程设计的计算机结构中,进程是程序的基本执行实体。
在当代面向线程设计的计算机结构中,进程是线程的容器。
程序是指令、数据及其组织形式的描述,进程是程序的实体。

进程优点:
稳定性高,一个进程崩溃了,不会影响其他进程。

缺点:
创建进程开销非常大。
操作系统能同时运行进程数目有限。

进程池的定义

当需要创建的子进程不多时,可以直接利用multiprocessing中的Process动态生成多个进程。

但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求。

但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池子中有进程结束,才会创建新的进程来执行。

示例

非阻塞
进程池和主进程是同时被释放结束的。

#自定义进程
import os
from multiprocessing import Pool
import time

from random import random

def task(task_name):
    print('task begin!!!',task_name)
    start = time.time()
    time.sleep(random()*2)
    end=time.time()
    return ('task finish!!!,  {}   time:{}  id:{}'.format(task_name,end - start,os.getpid()))

def callback_func(n):
    print(n)

if __name__ == '__main__':
    pool = Pool(3)

    tasks=['task1','task2','task3','task4','task5']

    for task1 in tasks:
        #往进程池添加任务
        #参数 任务函数名称 往任务函数传参   对任务函数执行完返回的值进行回调
        pool.apply_async(task,args=(task1,),callback=callback_func)

    #进程池停止接收新的任务
    pool.close()

    #让进程池等待所有任务完成后,对其进行清理
    pool.join()

    print('end...........')

在这里插入图片描述
由上图可知

进程数目始终保持为设定的3个,只有当原有进程完成任务后才会开启新的任务。

由于使用进程开销很大,合理使用进程池可以达到进程复用,节省资源的效果。

阻塞式
每运行一个任务就添加一个任务,前一个任务没完成,后一个任务不能加进来。

阻塞的是没有回调函数的。

		#将上面代码进行替换
        #非阻塞
        #pool.apply_async(task,args=(task1,),callback=callback_func)

        #阻塞
        pool.apply(task,args=(task1,))

猜你喜欢

转载自blog.csdn.net/weixin_44291381/article/details/114264688