python多进程执行方法apply_async使用说明

2023-07-04 17:21:35 93

apply_async简介

python在同一个线程中多次执行同一方法时，该方法执行耗时较长且每次执行过程及结果互不影响，如果只在主进程中执行，效率会很低，因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序执行的并行度从而提高程序的执行效率,其中processes=n为程序并行执行的进程数。

apply_async使用简明代码

importmultiprocessing
#method为多次调用的方法
defmethod(param):
pass
if__name__=='__main__':
pool=multiprocessing.Pool(processes=5)
params=['param1','param2','param3','param4','param5']
forparaminparams:
pool.apply_async(method,args=(param,))
pool.close()

使用总结：

apply_async是异步非阻塞式，不用等待当前进程执行完毕，随时跟进操作系统调度来进行进程切换，即多个进程并行执行，提高程序的执行效率。

补充：记录pythonmultiprocessingPool的map和apply_async方法

遇到的问题

在学习python多进程时，进程上运行的方法接收多个参数和多个结果时遇到了问题，现在经过学习在这里总结一下

Pool.map()多参数任务

在给map方法传入带多个参数的方法不能达到预期的效果，像下面这样

defjob(x,y):
returnx*y
if__name__=="__main__":
pool=multiprocessing.Pool()
res=pool.map(job,2,3)
printres

所以只能通过对有多个参数的方法进行封装，在进程中运行封装后的方法如下

defjob(x,y):
returnx*y
defjob1(z):
returnjob(z[0],z[1])
if__name__=="__main__":
pool=multiprocessing.Pool()
res=pool.map(job1,[(2,3),(3,4)])
printres

这样就能达到传递多个参数的效果

ps：如果需要得到多个结果可以传入多个元组在一个列表中

Pool.apply_async()输出多个迭代结果

在使用apply_async()方法接收多个参数的方法时，在任务方法中正常定义多个参数，参数以元组形式传入即可

但是给apply_async()方法传入多个值获取多个迭代结果时就会报错，因为该方法只能接收一个值，所以可以将该方法放入一个列表生成式中，如下

defjob(x):
returnx*x
if__name__=="__main__":
poolmultiprocessing.Pool()
res=[pool.apply_async(target=job,(i,))foriinrange(3)]
print[r.get()forrinres]

python3中提供了starmap和startmap_async两个方法

以上为个人经验，希望能给大家一个参考，也希望大家多多支持毛票票。如有错误或未考虑完全的地方，望不吝赐教。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。