Python多进程库multiprocessing中进程池Pool类的使用详解


Posted in Python onNovember 24, 2017

问题起因

最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果。没错!类似bagging ensemble!只是我没有抽样。文本不大,大概3000行,topic个数为8,于是我写了一个串行的程序,一个topic算完之后再算另一个topic。可是我在每个topic中用了GridSearchCV来调参,又要选特征又要调整regressor的参数,导致参数组合一共有1782种。我真是低估了调参的时间,程序跑了一天一夜最后因为忘记import一个库导致最终的预测精度没有算出来。后来想到,既然每个topic的预测都是独立的,那是不是可以并行呢?

Python中的多线程与多进程

但是听闻Python的多线程实际上并不能真正利用多核,所以如果使用多线程实际上还是在一个核上做并发处理。不过,如果使用多进程就可以真正利用多核,因为各进程之间是相互独立的,不共享资源,可以在不同的核上执行不同的进程,达到并行的效果。同时在我的问题中,各topic相互独立,不涉及进程间的通信,只需最后汇总结果,因此使用多进程是个不错的选择。

multiprocessing

一个子进程

multiprocessing模块提供process类实现新建进程。下述代码是新建一个子进程。

from multiprocessing import Process

def f(name):
  print 'hello', name

if __name__ == '__main__':
  p = Process(target=f, args=('bob',)) # 新建一个子进程p,目标函数是f,args是函数f的参数列表
  p.start() # 开始执行进程
  p.join() # 等待子进程结束

上述代码中p.join()的意思是等待子进程结束后才执行后续的操作,一般用于进程间通信。例如有一个读进程pw和一个写进程pr,在调用pw之前需要先写pr.join(),表示等待写进程结束之后才开始执行读进程。

多个子进程

如果要同时创建多个子进程可以使用multiprocessing.Pool类。该类可以创建一个进程池,然后在多个核上执行这些进程。

import multiprocessing
import time

def func(msg):
  print multiprocessing.current_process().name + '-' + msg

if __name__ == "__main__":
  pool = multiprocessing.Pool(processes=4) # 创建4个进程
  for i in xrange(10):
    msg = "hello %d" %(i)
    pool.apply_async(func, (msg, ))
  pool.close() # 关闭进程池,表示不能在往进程池中添加进程
  pool.join() # 等待进程池中的所有进程执行完毕,必须在close()之后调用
  print "Sub-process(es) done."

输出结果如下:

Sub-process(es) done.
PoolWorker-34-hello 1
PoolWorker-33-hello 0
PoolWorker-35-hello 2
PoolWorker-36-hello 3
PoolWorker-34-hello 7
PoolWorker-33-hello 4
PoolWorker-35-hello 5
PoolWorker-36-hello 6
PoolWorker-33-hello 8
PoolWorker-36-hello 9

上述代码中的pool.apply_async()是apply()函数的变体,apply_async()是apply()的并行版本,apply()是apply_async()的阻塞版本,使用apply()主进程会被阻塞直到函数执行结束,所以说是阻塞版本。apply()既是Pool的方法,也是Python内置的函数,两者等价。可以看到输出结果并不是按照代码for循环中的顺序输出的。

多个子进程并返回值

apply_async()本身就可以返回被进程调用的函数的返回值。上一个创建多个子进程的代码中,如果在函数func中返回一个值,那么pool.apply_async(func, (msg, ))的结果就是返回pool中所有进程的值的对象(注意是对象,不是值本身)。

import multiprocessing
import time

def func(msg):
  return multiprocessing.current_process().name + '-' + msg

if __name__ == "__main__":
  pool = multiprocessing.Pool(processes=4) # 创建4个进程
  results = []
  for i in xrange(10):
    msg = "hello %d" %(i)
    results.append(pool.apply_async(func, (msg, )))
  pool.close() # 关闭进程池,表示不能再往进程池中添加进程,需要在join之前调用
  pool.join() # 等待进程池中的所有进程执行完毕
  print ("Sub-process(es) done.")

  for res in results:
    print (res.get())

上述代码输出结果如下:

Sub-process(es) done.
PoolWorker-37-hello 0
PoolWorker-38-hello 1
PoolWorker-39-hello 2
PoolWorker-40-hello 3
PoolWorker-37-hello 4
PoolWorker-38-hello 5
PoolWorker-39-hello 6
PoolWorker-37-hello 7
PoolWorker-40-hello 8
PoolWorker-38-hello 9

与之前的输出不同,这次的输出是有序的。

如果电脑是八核,建立8个进程,在Ubuntu下输入top命令再按下大键盘的1,可以看到每个CPU的使用率是比较平均的,如下图:

Python多进程库multiprocessing中进程池Pool类的使用详解

在system monitor中也可以清楚看到执行多进程前后CPU使用率曲线的差异。

Python多进程库multiprocessing中进程池Pool类的使用详解

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
Jan 19 Python
python小技巧之批量抓取美女图片
Jun 06 Python
仅用50行Python代码实现一个简单的代理服务器
Apr 08 Python
python操作redis的方法
Jul 07 Python
Python ftp上传文件
Feb 13 Python
python 读写、创建 文件的方法(必看)
Sep 12 Python
python 中的divmod数字处理函数浅析
Oct 17 Python
python实现简单聊天室功能 可以私聊
Jul 12 Python
更新pip3与pyttsx3文字语音转换的实现方法
Aug 08 Python
python的scipy实现插值的示例代码
Nov 12 Python
Python第三方库安装缓慢的解决方法
Feb 06 Python
Pytorch如何切换 cpu和gpu的使用详解
Mar 01 Python
pip安装Python库时遇到的问题及解决方法
Nov 23 #Python
python清理子进程机制剖析
Nov 23 #Python
Python3 加密(hashlib和hmac)模块的实现
Nov 23 #Python
Python2.7基于笛卡尔积算法实现N个数组的排列组合运算示例
Nov 23 #Python
深入理解Python3 内置函数大全
Nov 23 #Python
Python内置函数delattr的具体用法
Nov 23 #Python
Python 内置函数memoryview(obj)的具体用法
Nov 23 #Python
You might like
用PHP开发GUI
2006/10/09 PHP
destoon文章模块调用企业会员资料的方法
2014/08/22 PHP
PHP中配置IIS7实现基本身份验证的方法
2015/09/24 PHP
PHP 实现浏览记录并按日期分组
2017/05/11 PHP
php获取数据库结果集方法(推荐)
2017/06/01 PHP
详解php与ethereum客户端交互
2018/04/28 PHP
PHP自定义函数实现assign()数组分配到模板及extract()变量分配到模板功能示例
2018/05/23 PHP
safari下载文件自动加了html后缀问题
2018/11/09 PHP
PHP时间相关常用函数用法示例
2020/06/03 PHP
javascript 单选框,多选框美化代码
2008/08/01 Javascript
可编辑下拉框的2种实现方式
2014/06/13 Javascript
网页运行时提示对象不支持abigimage属性或方法
2014/08/10 Javascript
js实现兼容性好的微软官网导航下拉菜单效果
2015/09/07 Javascript
jQuery+CSS3+Html5实现弹出层效果实例代码(附源码下载)
2016/05/16 Javascript
js获取腾讯视频ID的方法
2016/10/03 Javascript
BootStrap Validator 版本差异问题导致的submitHandler失效问题的解决方法
2016/12/01 Javascript
详解jQuery事件
2017/01/13 Javascript
JS设置手机验证码60s等待实现代码
2017/06/14 Javascript
JavaScript自执行函数和jQuery扩展方法详解
2017/10/27 jQuery
一个简单的node.js界面实现方法
2018/06/01 Javascript
nodeJs的安装与npm全局环境变量的配置详解
2020/01/06 NodeJs
详解Vue 单文件组件的三种写法
2020/02/19 Javascript
Vue-cli打包后部署到子目录下的路径问题说明
2020/09/02 Javascript
vue打包静态资源后显示空白及static文件路径报错的解决
2020/09/02 Javascript
在Vue中使用Select选择器拼接label的操作
2020/10/22 Javascript
Python使用统计函数绘制简单图形实例代码
2019/05/15 Python
matplotlib命令与格式之tick坐标轴日期格式(设置日期主副刻度)
2019/08/06 Python
C++和python实现阿姆斯特朗数字查找实例代码
2020/12/07 Python
详解Python中的文件操作
2021/01/14 Python
Kathmandu澳洲户外商店:新西兰户外运动品牌
2017/11/12 全球购物
德国香水、化妆品和护理产品网上商店:Parfumdreams
2018/09/26 全球购物
IGK Hair官网:喷雾、洗发水、护发素等
2020/11/03 全球购物
高中自我评价分享
2013/12/05 职场文书
小学教师办公室制度
2014/02/03 职场文书
红旗方阵解说词
2014/02/12 职场文书
如何使用flask将模型部署为服务
2021/05/13 Python