1.
使用多进程的方式:
cores = 2
pool = multiprocessing.Pool(processes=cores)
pool.map(convert, fn_list) #convert是要调用的函数,fn_list是要传入函数的参数,多线程的参数用列表组织。
pool.close()
pool.join()
2.向函数中传入多个参数的方式:
将多个参数组成元祖,同时要执行的函数再分别获取元祖中的元素
def autoProcessOneImage(threeParams):
annoPngName,annoShapeName,outPath=threeParams
for _ in shpAll:
paramList.append((annoPath,shpPath,outPath))
pool.map(autoProcessOneImage,paramList)
3.获取返回值:返回值是各个进程组成的列表
res = pool.map(job1,data_list)
3.同时在多个运行节点启动多个程序,且每个程序用multiprocess运行多个进程时
多进程如何防止数据冲突:
(1)简单的方式,但仍会有少量冲突的情况:random.shuffle+文件是否已经被处理的判断
扫描二维码关注公众号,回复:
10776815 查看本文章
random.shuffle(paramList)
pool.map(autoProcessOneImage,paramList)
def autoProcessOneImage(threeParams):
if os.path.isfile(outToShow) and os.path.isfile(outToAnno):
return 0
(2)根据要启动的运行节点个数,将paramList分为几组,每个程序执行一部分数据。
(3)加锁:还在研究中