Python多进程库multiprocessing中进程池Pool类的使用详解


Posted in Python onNovember 24, 2017

问题起因

最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果。没错!类似bagging ensemble!只是我没有抽样。文本不大,大概3000行,topic个数为8,于是我写了一个串行的程序,一个topic算完之后再算另一个topic。可是我在每个topic中用了GridSearchCV来调参,又要选特征又要调整regressor的参数,导致参数组合一共有1782种。我真是低估了调参的时间,程序跑了一天一夜最后因为忘记import一个库导致最终的预测精度没有算出来。后来想到,既然每个topic的预测都是独立的,那是不是可以并行呢?

Python中的多线程与多进程

但是听闻Python的多线程实际上并不能真正利用多核,所以如果使用多线程实际上还是在一个核上做并发处理。不过,如果使用多进程就可以真正利用多核,因为各进程之间是相互独立的,不共享资源,可以在不同的核上执行不同的进程,达到并行的效果。同时在我的问题中,各topic相互独立,不涉及进程间的通信,只需最后汇总结果,因此使用多进程是个不错的选择。

multiprocessing

一个子进程

multiprocessing模块提供process类实现新建进程。下述代码是新建一个子进程。

from multiprocessing import Process

def f(name):
  print 'hello', name

if __name__ == '__main__':
  p = Process(target=f, args=('bob',)) # 新建一个子进程p,目标函数是f,args是函数f的参数列表
  p.start() # 开始执行进程
  p.join() # 等待子进程结束

上述代码中p.join()的意思是等待子进程结束后才执行后续的操作,一般用于进程间通信。例如有一个读进程pw和一个写进程pr,在调用pw之前需要先写pr.join(),表示等待写进程结束之后才开始执行读进程。

多个子进程

如果要同时创建多个子进程可以使用multiprocessing.Pool类。该类可以创建一个进程池,然后在多个核上执行这些进程。

import multiprocessing
import time

def func(msg):
  print multiprocessing.current_process().name + '-' + msg

if __name__ == "__main__":
  pool = multiprocessing.Pool(processes=4) # 创建4个进程
  for i in xrange(10):
    msg = "hello %d" %(i)
    pool.apply_async(func, (msg, ))
  pool.close() # 关闭进程池,表示不能在往进程池中添加进程
  pool.join() # 等待进程池中的所有进程执行完毕,必须在close()之后调用
  print "Sub-process(es) done."

输出结果如下:

Sub-process(es) done.
PoolWorker-34-hello 1
PoolWorker-33-hello 0
PoolWorker-35-hello 2
PoolWorker-36-hello 3
PoolWorker-34-hello 7
PoolWorker-33-hello 4
PoolWorker-35-hello 5
PoolWorker-36-hello 6
PoolWorker-33-hello 8
PoolWorker-36-hello 9

上述代码中的pool.apply_async()是apply()函数的变体,apply_async()是apply()的并行版本,apply()是apply_async()的阻塞版本,使用apply()主进程会被阻塞直到函数执行结束,所以说是阻塞版本。apply()既是Pool的方法,也是Python内置的函数,两者等价。可以看到输出结果并不是按照代码for循环中的顺序输出的。

多个子进程并返回值

apply_async()本身就可以返回被进程调用的函数的返回值。上一个创建多个子进程的代码中,如果在函数func中返回一个值,那么pool.apply_async(func, (msg, ))的结果就是返回pool中所有进程的值的对象(注意是对象,不是值本身)。

import multiprocessing
import time

def func(msg):
  return multiprocessing.current_process().name + '-' + msg

if __name__ == "__main__":
  pool = multiprocessing.Pool(processes=4) # 创建4个进程
  results = []
  for i in xrange(10):
    msg = "hello %d" %(i)
    results.append(pool.apply_async(func, (msg, )))
  pool.close() # 关闭进程池,表示不能再往进程池中添加进程,需要在join之前调用
  pool.join() # 等待进程池中的所有进程执行完毕
  print ("Sub-process(es) done.")

  for res in results:
    print (res.get())

上述代码输出结果如下:

Sub-process(es) done.
PoolWorker-37-hello 0
PoolWorker-38-hello 1
PoolWorker-39-hello 2
PoolWorker-40-hello 3
PoolWorker-37-hello 4
PoolWorker-38-hello 5
PoolWorker-39-hello 6
PoolWorker-37-hello 7
PoolWorker-40-hello 8
PoolWorker-38-hello 9

与之前的输出不同,这次的输出是有序的。

如果电脑是八核,建立8个进程,在Ubuntu下输入top命令再按下大键盘的1,可以看到每个CPU的使用率是比较平均的,如下图:

Python多进程库multiprocessing中进程池Pool类的使用详解

在system monitor中也可以清楚看到执行多进程前后CPU使用率曲线的差异。

Python多进程库multiprocessing中进程池Pool类的使用详解

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python判断windows隐藏文件的方法
Mar 21 Python
python中enumerate函数用法实例分析
May 20 Python
设计模式中的原型模式在Python程序中的应用示例
Mar 02 Python
python绘制双柱形图代码实例
Dec 14 Python
Python解决抛小球问题 求小球下落经历的距离之和示例
Feb 01 Python
Python实现监控Nginx配置文件的不同并发送邮件报警功能示例
Feb 26 Python
python3+opencv生成不规则黑白mask实例
Feb 19 Python
Django Admin 上传文件到七牛云的示例代码
Jun 20 Python
Windows下Sqlmap环境安装教程详解
Aug 04 Python
详解python的变量缓存机制
Jan 24 Python
Python实现生活常识解答机器人
Jun 28 Python
利用Python判断整数是否是回文数的3种方法总结
Jul 07 Python
pip安装Python库时遇到的问题及解决方法
Nov 23 #Python
python清理子进程机制剖析
Nov 23 #Python
Python3 加密(hashlib和hmac)模块的实现
Nov 23 #Python
Python2.7基于笛卡尔积算法实现N个数组的排列组合运算示例
Nov 23 #Python
深入理解Python3 内置函数大全
Nov 23 #Python
Python内置函数delattr的具体用法
Nov 23 #Python
Python 内置函数memoryview(obj)的具体用法
Nov 23 #Python
You might like
Access数据库导入Mysql的方法之一
2006/10/09 PHP
剖析 PHP 中的输出缓冲
2006/12/21 PHP
解析PHP 5.5 新特性
2013/07/02 PHP
Laravel学习教程之View模块详解
2017/09/18 PHP
Gird组件 Part-3:范例RSSFeed Viewer
2007/03/10 Javascript
Javascript匿名函数的一种应用 代码封装
2010/06/27 Javascript
javascript中的prototype属性实例分析说明
2010/08/09 Javascript
jquery购物车实时结算特效实现思路
2013/09/23 Javascript
js中的replace方法使用介绍
2013/10/28 Javascript
jquery实现弹出窗口效果的实例代码
2013/11/28 Javascript
一个简单的jQuery插件ajaxfileupload.js实现ajax上传文件例子
2014/06/26 Javascript
JavaScript删除数组元素的方法
2015/03/20 Javascript
基于JavaScript实现Json数据根据某个字段进行排序
2015/11/24 Javascript
AngularJS入门教程之Scope(作用域)
2016/07/27 Javascript
jQuery实现select下拉框获取当前选中文本、值、索引
2017/05/08 jQuery
NodeJs使用Mysql模块实现事务处理实例
2017/05/31 NodeJs
使用vue构建移动应用实战代码
2017/08/02 Javascript
Node.js实现连接mysql数据库功能示例
2017/09/15 Javascript
JS实现字符串去重及数组去重的方法示例
2018/04/21 Javascript
浅谈vue加载优化策略
2019/03/19 Javascript
VUE的history模式下除了index外其他路由404报错解决办法
2019/08/21 Javascript
layui select 禁止点击的实现方法
2019/09/05 Javascript
vue使用echarts图表自适应的几种解决方案
2020/12/04 Vue.js
在Python的Flask框架中实现单元测试的教程
2015/04/20 Python
为什么说python更适合树莓派编程
2020/07/20 Python
详解Python中的路径问题
2020/09/02 Python
Python面向对象多态实现原理及代码实例
2020/09/16 Python
.TTL是什么?有什么用处,通常那些工具会用到它?(ping? traceroute? ifconfig? netstat?)
2016/05/09 面试题
公司授权委托书范文
2014/08/02 职场文书
单位实习鉴定评语
2015/01/04 职场文书
行政申诉状范文
2015/05/20 职场文书
2019个人工作计划书的格式及范文!
2019/07/04 职场文书
假如给我三天光明:舟逆水而行,人遇挫而达 
2019/10/29 职场文书
船舶调度指挥系统——助力智慧海事
2022/02/18 无线电
win10怎么设置右下角图标不折叠?Win10设置右下角图标不折叠的方法
2022/07/15 数码科技
MySQL 原理与优化之Limit 查询优化
2022/08/14 MySQL