Python使用多进程运行含有任意个参数的函数


Posted in Python onMay 02, 2020

1. 问题引出

许多时候,我们对程序的速度都是有要求的,速度自然是越快越好。对于Python的话,一般都是使用multiprocessing这个库来实现程序的多进程化,例如:

我们有一个函数my_print,它的作用是打印我们的输入:

def my_print(x):
print(x)

但是我们嫌它的速度太慢了,因此我们要将这个程序多进程化:

from multiprocessing import Pool
 
def my_print(x):
  print(x)
 
if __name__ == "__main__":
  x = [1, 2, 3, 4, 5]
  pool = Pool()
  pool.map(my_print, x)
  pool.close()
  pool.join()

很好,现在速度与之前的单进程相比提升非常的快,但是问题来了,如果我们的参数不只有一个x,而是有多个,这样能行吗?比如现在my_print新增一个参数y:

def my_print(x, y):
print(x + y)

查看pool.map的函数说明:

def map(self, func, iterable, chunksize=None):
  '''
  Apply `func` to each element in `iterable`, collecting the results
  in a list that is returned.
  '''
  return self._map_async(func, iterable, mapstar, chunksize).get()

发现函数的参数是作为iter传进去的,但是我们现在有两个参数,自然想到使用zip将参数进行打包:

if __name__ == "__main__":
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
  zip_args = list(zip(x, y))
  pool = Pool()
  pool.map(my_print, zip_args)
  pool.close()
  pool.join()

可是执行后却发现,y参数并没有被传进去:

Python使用多进程运行含有任意个参数的函数

那么如何传入多个参数呢?这也就是本文的重点,接着往下看吧。

2. 解决方案

2.1 使用偏函数(partial)

偏函数有点像数学中的偏导数,可以让我们只关注其中的某一个变量而不考虑其他变量的影响。上面的例子中,Y始终等于1,那么我们在传入参数的时候,只需要考虑X的变化即可。

例如你有一个函数,该函数有两个参数a,b,a是不同路径的下的图片的路径,b是输出的路径。很明显,a是一直在变化的,但是因为我们要将所有图片保存在同一个文件夹下,那么b很可能一直都没变。

具体如下:

if __name__ == '__main__':# 多线程,多参数,partial版本
  x = [1, 2, 3, 4, 5]
  y = 1
 
  partial_func = partial(my_print, y=y)
  pool = Pool()
  pool.map(partial_func, x)
  pool.close()
  pool.join()

2.2 使用可变参数

在Python函数中,函数可以定义可变参数。顾名思义,可变参数就是传入的参数个数是可变的,可以是1个、2个到任意个,这就直接给我们提供了一种思路。具体如下:

def multi_wrapper(args):
  return my_print(*args)
 
def my_print(x, y):
  print(x + y)
if __name__ == "__main__": # 多线程,多参数,可变参数版本
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
  zip_args = list(zip(x, y))
 
  pool = Pool()
  pool.map(multi_wrapper, zip_args)
  pool.close()
  pool.join()

2.3 使用pathos提供的多进程库

from pathos.multiprocessing import ProcessingPool as newPool
 
if __name__ == '__main__':# 多线程,多参数,pathos版本
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
 
  pool = newPool()
  pool.map(my_print, x, y)
  pool.close()
  pool.join()

在该库的map函数下,可以看到,它允许多参数输入,其实也就是使用了可变参数:

def map(self, f, *args, **kwds):
  AbstractWorkerPool._AbstractWorkerPool__map(self, f, *args, **kwds)
  _pool = self._serve()
  return _pool.map(star(f), zip(*args)) # chunksize

2.4 使用starmap函数

if __name__ == '__main__': # 多线程,多参数,starmap版本
  x = [1, 2, 3, 4, 5]
  y = [1, 1, 1, 1, 1]
 
  zip_args = list(zip(x, y))
  pool = Pool()
  pool.starmap(my_print, zip_args)
  pool.close()
  pool.join()

3. 总结

其实在以上4种实现方法中 ,第1种方法的限制较多,如果该函数的其它参数都在变化的话,那么它就不能很好地工作,而剩下的方法从体验上来讲是依次递增的,它们都可以接受任意多参数的输入,但是第2种需要额外写一个函数,扣分;第3种方法需要额外安装pathos包,扣分;而最后一种方法不需要任何额外不择就可以完成,所以,推荐大家选择第4种方法!

以上这篇Python使用多进程运行含有任意个参数的函数就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python检测远程udp端口是否打开的方法
Mar 14 Python
python中logging包的使用总结
Feb 28 Python
Python3进制之间的转换代码实例
Aug 24 Python
python中的Elasticsearch操作汇总
Oct 30 Python
浅析python redis的连接及相关操作
Nov 07 Python
NumPy中的维度Axis详解
Nov 26 Python
Win10里python3创建虚拟环境的步骤
Jan 31 Python
Python sqlite3查询操作过程解析
Feb 20 Python
Python多线程threading join和守护线程setDeamon原理详解
Mar 18 Python
python 实现分组求和与分组累加求和代码
May 18 Python
Python使用configparser读取ini配置文件
May 25 Python
Python数据模型与Python对象模型的相关总结
Jan 26 Python
python多进程使用函数封装实例
May 02 #Python
Python中使用filter过滤列表的一个小技巧分享
May 02 #Python
python同时遍历两个list用法说明
May 02 #Python
python多线程实现同时执行两个while循环的操作
May 02 #Python
python 实现两个线程交替执行
May 02 #Python
Python中使用threading.Event协调线程的运行详解
May 02 #Python
浅谈Python3多线程之间的执行顺序问题
May 02 #Python
You might like
《逃离塔科夫》——“萌新劝退,老手自嗨”的硬核FPS游戏
2020/04/03 其他游戏
推荐一篇入门级的Class文章
2007/03/19 PHP
frename PHP 灵活文件命名函数 frename
2009/09/09 PHP
php图形jpgraph操作实例分析
2017/02/22 PHP
PHP用户管理中常用接口调用实例及解析(含源码)
2017/03/09 PHP
键盘控制事件应用教程大全
2006/11/24 Javascript
使用JS或jQuery模拟鼠标点击a标签事件代码
2014/03/10 Javascript
js,jquery滚动/跳转页面到指定位置的实现思路
2014/06/03 Javascript
node.js中的console.time方法使用说明
2014/12/09 Javascript
初识Node.js
2015/03/20 Javascript
深入理解Javascript中的自执行匿名函数
2016/06/03 Javascript
JS中对Cookie的操作详解
2016/08/05 Javascript
jQuery基本筛选选择器实例代码
2017/02/06 Javascript
详解windows下vue-cli及webpack 构建网站(三)使用组件
2017/06/17 Javascript
Webpack打包css后z-index被重新计算的解决方法
2017/06/18 Javascript
vue项目中使用tinymce编辑器的步骤详解
2018/09/11 Javascript
微信小程序实现音乐播放器
2019/11/20 Javascript
JS实现关闭小广告特效
2021/01/29 Javascript
nuxt引入组件和公共样式的操作
2020/11/05 Javascript
Python实现PS滤镜功能之波浪特效示例
2018/01/26 Python
windows下python和pip安装教程
2018/05/25 Python
解决Django生产环境无法加载静态文件问题的解决
2019/04/23 Python
Python 面向对象之封装、继承、多态操作实例分析
2019/11/21 Python
Python Opencv 通过轨迹(跟踪)栏实现更改整张图像的背景颜色
2020/03/09 Python
TensorFlow的reshape操作 tf.reshape的实现
2020/04/19 Python
Django中Aggregation聚合的基本使用方法
2020/07/09 Python
CSS3 animation实现简易幻灯片轮播特效
2016/09/27 HTML / CSS
银行类自荐信
2014/02/04 职场文书
个人合作协议书范本
2014/04/18 职场文书
2014年小学重阳节活动策划方案
2014/09/16 职场文书
社区灵活就业证明
2014/11/03 职场文书
社区公民道德宣传日活动总结
2015/03/23 职场文书
经费申请报告
2015/05/15 职场文书
《思路决定出路》读后感3篇
2019/12/11 职场文书
微信小程序 根据不同用户切换不同TabBar
2022/04/21 Javascript
GO中sync包自由控制并发示例详解
2022/08/05 Golang