python 进程池pool使用详解


Posted in Python onOctober 15, 2020

和选用线程池来关系多线程类似,当程序中设置到多进程编程时,Python 提供了更好的管理多个进程的方式,就是使用进程池。

在利用 Python 进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。

当被操作对象数目不大时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

Pool可以提供指定数量的进程供用户调用,当有新的请求提交到 pool 中时,如果进程池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。

Python multiprocessing 模块提供了 Pool() 函数,专门用来创建一个进程池,该函数的语法格式如下:

multiprocessing.Pool( processes )

其中,processes 参数用于指定该进程池中包含的进程数。

如果进程是 None,则默认使用 os.cpu_count() 返回的数字(根据本地的 cpu 个数决定,processes 小于等于本地的 cpu 个数)。

请看下面的实例:

from multiprocessing import Pool
import os
import time
import random

def worker(msg):
  t_start = time.time()
  print("%s开始执行,进程号为%d" % (msg, os.getpid()))
  # random.random()随机生成0~1之间的浮点数
  time.sleep(random.random()*2)
  t_stop = time.time()
  print(msg, "执行完毕,耗时%0.2f" % (t_stop-t_start))

if __name__ == "__main__":
  po = Pool(3) # 定义一个进程池,最大进程数3
  for i in range(0, 8):
    # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
    # 每次循环将会用空闲出来的子进程去调用目标
    po.apply_async(worker, (i,))

  print("----start----")
  # 关闭进程池,关闭后po不再接收新的请求
  po.close()
  # 等待po中所有子进程执行完成,必须放在close语句之后
  po.join()
  print("-----end-----")

运行结果:

python 进程池pool使用详解

multiprocessing.Pool 常用方法说明

apply_async(func[, args[, kwds]]) :使用非阻塞方式调用 func(并行执行,堵塞方式必须等待上一个进程退出才能执行下一个进程),args 为传递给 func 的参数列表,kwds 为传递给 func 的关键字参数列表。

close():关闭 Pool,使其不再接受新的任务。

terminate():不管任务是否完成,立即终止。

join():主进程阻塞,等待子进程的退出, 必须在 close 或 terminate 之后使用。

进程池中的 Queue

如果要使用 Pool 创建进程,就需要使用 multiprocessing.Manager() 中的 Queue(),而不是 multiprocessing.Queue(),否则会得到一条如下的错误信息:

RuntimeError: Queue objects should only be shared between processes through inheritance.

下面的实例演示了进程池中的进程如何通信:

from multiprocessing import Manager, Pool
import os
import time
import random

def writer(q):
  print("writer启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
  for i in "xiaoming":
    q.put(i)

def reader(q):
  print("reader启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
  for i in range(q.qsize()):
    print("reader从Queue获取到消息:%s" % q.get(True))

if __name__ == "__main__":
  print("(%s) start" % os.getpid())
  # 使用Manager中的Queue
  q = Manager().Queue()
  po = Pool()
  po.apply_async(writer, (q,))
  # 先让上面的任务向Queue存入数据,然后再让下面的任务开始从中取数据
  time.sleep(1)
  po.apply_async(reader, (q,))
  po.close()
  po.join()
  print("(%s) End" % os.getpid())

运行结果:

(17528) start
writer启动(2216),父进程为(17528)
reader启动(2216),父进程为(17528)
reader从Queue获取到消息:x
reader从Queue获取到消息:i
reader从Queue获取到消息:a
reader从Queue获取到消息:o
reader从Queue获取到消息:m
reader从Queue获取到消息:i
reader从Queue获取到消息:n
reader从Queue获取到消息:g
(17528) End

以上就是python 进程池pool使用详解的详细内容,更多关于python 进程池pool的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python中的exec、eval使用实例
Sep 23 Python
使用SAE部署Python运行环境的教程
May 05 Python
Python实现通过文件路径获取文件hash值的方法
Apr 29 Python
Flask入门之上传文件到服务器的方法示例
Jul 18 Python
python对象与json相互转换的方法
May 07 Python
Django框架中间件(Middleware)用法实例分析
May 24 Python
机器学习实战之knn算法pandas
Jun 22 Python
浅析PyTorch中nn.Module的使用
Aug 18 Python
15行Python代码实现免费发送手机短信推送消息功能
Feb 27 Python
python属于跨平台语言码
Jun 09 Python
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
Apr 13 Python
python实现学生信息管理系统(面向对象)
Jun 05 Python
python 输入字符串生成所有有效的IP地址(LeetCode 93号题)
Oct 15 #Python
Python3使用 GitLab API 进行批量合并分支
Oct 15 #Python
10款最佳Python开发工具推荐,每一款都是神器
Oct 15 #Python
matplotlib教程——强大的python作图工具库
Oct 15 #Python
工程师必须了解的LRU缓存淘汰算法以及python实现过程
Oct 15 #Python
详解pycharm配置python解释器的问题
Oct 15 #Python
详解查看Python解释器路径的两种方式
Oct 15 #Python
You might like
深思 PHP 数组遍历的差异(array_diff 的实现)
2008/03/23 PHP
PHP生成带有雪花背景的验证码
2008/09/28 PHP
PHP中绘制图像的一些函数总结
2014/11/19 PHP
PHP跨平台获取服务器IP地址自定义函数分享
2014/12/29 PHP
PHP获取数组最大值下标的方法
2015/05/12 PHP
php实现图片等比例缩放代码
2015/07/23 PHP
Laravel+jQuery实现AJAX分页效果
2016/09/14 PHP
JQuery 获得绝对,相对位置的坐标方法
2010/02/09 Javascript
datagrid框架的删除添加与修改
2013/04/08 Javascript
jQuery焦点图切换特效插件封装实例
2013/08/18 Javascript
JavaScript实现找出数组中最长的连续数字序列
2014/09/03 Javascript
原生javascript实现图片按钮切换
2015/01/12 Javascript
每天一篇javascript学习小结(Boolean对象)
2015/11/12 Javascript
jQuery实现可拖拽的许愿墙效果【附demo源码下载】
2016/09/14 Javascript
EditPlus 正则表达式 实战(3)
2016/12/15 Javascript
webstorm添加vue.js支持的方法教程
2017/07/05 Javascript
AngularJS中的路由使用及实现代码
2017/10/09 Javascript
[05:26]2014DOTA2西雅图国际邀请赛 iG战队巡礼
2014/07/07 DOTA
[02:28]PWL开团时刻DAY3——Ink Ice与DeMonsTer之间的勾心斗角
2020/11/03 DOTA
[48:51]完美世界DOTA2联赛PWL S2 Magma vs InkIce 第一场 11.28
2020/12/02 DOTA
编程语言Python的发展史
2014/09/26 Python
Python判断值是否在list或set中的性能对比分析
2016/04/16 Python
Django 导出项目依赖库到 requirements.txt过程解析
2019/08/23 Python
Python实现线性判别分析(LDA)的MATLAB方式
2019/12/09 Python
详解python tkinter模块安装过程
2020/01/06 Python
谈谈对css属性box-sizing的了解
2017/01/04 HTML / CSS
Html5定位终极解决方案
2020/02/05 HTML / CSS
C/C++ 笔试、面试题目大汇总
2015/11/21 面试题
自我鉴定书面格式
2014/01/13 职场文书
应用英语专业自荐信
2014/01/26 职场文书
教育技术学专业职业规划书
2014/03/03 职场文书
聘用意向书范本
2014/04/01 职场文书
十周年庆典策划方案
2014/06/03 职场文书
空气环保标语
2014/06/12 职场文书
助残日活动总结
2014/08/27 职场文书
校园运动会广播稿
2015/08/19 职场文书