Python进程池Pool应用实例分析


Posted in Python onNovember 27, 2019

本文实例讲述了Python进程池Pool应用。分享给大家供大家参考,具体如下:

当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务,请看下面的实例:

# -*- coding:utf-8 -*-
from multiprocessing import Pool
import os, time, random
def worker(msg):
  t_start = time.time()
  print("%s开始执行,进程号为%d" % (msg,os.getpid()))
  # random.random()随机生成0~1之间的浮点数
  time.sleep(random.random()*2) 
  t_stop = time.time()
  print(msg,"执行完毕,耗时%0.2f" % (t_stop-t_start))
po = Pool(3) # 定义一个进程池,最大进程数3
for i in range(0,10):
  # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
  # 每次循环将会用空闲出来的子进程去调用目标
  po.apply_async(worker,(i,))
print("----start----")
po.close() # 关闭进程池,关闭后po不再接收新的请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("-----end-----")

运行结果:

----start----
0开始执行,进程号为21466
1开始执行,进程号为21468
2开始执行,进程号为21467
0 执行完毕,耗时1.01
3开始执行,进程号为21466
2 执行完毕,耗时1.24
4开始执行,进程号为21467
3 执行完毕,耗时0.56
5开始执行,进程号为21466
1 执行完毕,耗时1.68
6开始执行,进程号为21468
4 执行完毕,耗时0.67
7开始执行,进程号为21467
5 执行完毕,耗时0.83
8开始执行,进程号为21466
6 执行完毕,耗时0.75
9开始执行,进程号为21468
7 执行完毕,耗时1.03
8 执行完毕,耗时1.05
9 执行完毕,耗时1.69
-----end-----

multiprocessing.Pool常用函数解析:

  • apply_async(func[, args[, kwds]]) :使用非阻塞方式调用func(并行执行,堵塞方式必须等待上一个进程退出才能执行下一个进程),args为传递给func的参数列表,kwds为传递给func的关键字参数列表;
  • close():关闭Pool,使其不再接受新的任务;
  • terminate():不管任务是否完成,立即终止;
  • join():主进程阻塞,等待子进程的退出, 必须在close或terminate之后使用;

进程池中的Queue

如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue(),而不是multiprocessing.Queue(),否则会得到一条如下的错误信息:

RuntimeError: Queue objects should only be shared between processes through inheritance.

下面的实例演示了进程池中的进程如何通信:

# -*- coding:utf-8 -*-
# 修改import中的Queue为Manager
from multiprocessing import Manager,Pool
import os,time,random
def reader(q):
  print("reader启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
  for i in range(q.qsize()):
    print("reader从Queue获取到消息:%s" % q.get(True))
def writer(q):
  print("writer启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
  for i in "itcast":
    q.put(i)
if __name__=="__main__":
  print("(%s) start" % os.getpid())
  q = Manager().Queue() # 使用Manager中的Queue
  po = Pool()
  po.apply_async(writer, (q,))
  time.sleep(1) # 先让上面的任务向Queue存入数据,然后再让下面的任务开始从中取数据
  po.apply_async(reader, (q,))
  po.close()
  po.join()
  print("(%s) End" % os.getpid())

运行结果:

(11095) start
writer启动(11097),父进程为(11095)
reader启动(11098),父进程为(11095)
reader从Queue获取到消息:i
reader从Queue获取到消息:t
reader从Queue获取到消息:c
reader从Queue获取到消息:a
reader从Queue获取到消息:s
reader从Queue获取到消息:t
(11095) End

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python3.3实现乘法表示例
Feb 07 Python
Python和Ruby中each循环引用变量问题(一个隐秘BUG?)
Jun 04 Python
Python中为feedparser设置超时时间避免堵塞
Sep 28 Python
用Python编写一个每天都在系统下新建一个文件夹的脚本
May 04 Python
基于Python3 逗号代码 和 字符图网格(详谈)
Jun 22 Python
Python决策树之基于信息增益的特征选择示例
Jun 25 Python
Flask框架URL管理操作示例【基于@app.route】
Jul 23 Python
Python实现提取XML内容并保存到Excel中的方法
Sep 01 Python
python模拟实现斗地主发牌
Jan 07 Python
python通过cython加密代码
Dec 11 Python
python Scrapy框架原理解析
Jan 04 Python
python实现三次密码验证的示例
Apr 29 Python
python进程池实现的多进程文件夹copy器完整示例
Nov 27 #Python
python list数据等间隔抽取并新建list存储的例子
Nov 27 #Python
Python如何使用Gitlab API实现批量的合并分支
Nov 27 #Python
python [:3] 实现提取数组中的数
Nov 27 #Python
在Python中等距取出一个数组其中n个数的实现方式
Nov 27 #Python
python中的数组赋值与拷贝的区别详解
Nov 26 #Python
使用python切片实现二维数组复制示例
Nov 26 #Python
You might like
【COS正片】蕾姆睡衣cos,纯洁可爱被治愈了 cn名濑弥七
2020/03/02 日漫
JAVA/JSP学习系列之七
2006/10/09 PHP
php操作mysql数据库的基本类代码
2014/02/25 PHP
php使用Jpgraph绘制3D饼状图的方法
2015/06/10 PHP
详解WordPress中用于合成数组的wp_parse_args()函数
2015/12/18 PHP
thinkPHP实现MemCache分布式缓存功能
2016/03/23 PHP
PHP实现四种基础排序算法的运行时间比较(推荐)
2016/08/11 PHP
浅谈thinkphp5 instance 的简单实现
2017/07/30 PHP
用js实现计算代码行数的简单方法附代码
2007/08/13 Javascript
网页中可关闭的漂浮窗口实现可自行调节
2013/08/20 Javascript
cookie中的path与domain属性详解
2013/12/18 Javascript
JavaScript中获取高度和宽度函数总结
2014/10/08 Javascript
js鼠标点击按钮切换图片-图片自动切换-点击左右按钮切换特效代码
2015/09/02 Javascript
jQuery Timelinr实现垂直水平时间轴插件(附源码下载)
2016/02/16 Javascript
JavaScript易错知识点整理
2016/12/05 Javascript
bootstrap导航、选项卡实现代码
2016/12/28 Javascript
微信小程序  http请求封装详解及实例代码
2017/02/15 Javascript
nodejs中模块定义实例详解
2017/03/18 NodeJs
mapboxgl区划标签避让不遮盖实现的代码详解
2020/07/01 Javascript
[07:09]DOTA2-DPC中国联赛 正赛 Ehome vs Elephant 选手采访
2021/03/11 DOTA
Python获取当前时间的方法
2014/01/14 Python
Python中一行和多行import模块问题
2018/04/01 Python
python将.ppm格式图片转换成.jpg格式文件的方法
2018/10/27 Python
TensorFlow2.X使用图片制作简单的数据集训练模型
2020/04/08 Python
海淘零差价,宝贝全球购: 宝贝格子
2016/08/24 全球购物
印度最大的旅游网站:MakeMyTrip
2016/10/05 全球购物
橄榄树药房:OLIVEDA
2019/09/01 全球购物
FragranceNet中文网:北美健康美容线上零售商
2020/08/26 全球购物
2013年研究生毕业感言
2014/02/06 职场文书
国培教师自我鉴定
2014/02/12 职场文书
小学生节约用水倡议书
2014/05/15 职场文书
公安四风对照检查材料思想汇报
2014/10/11 职场文书
受资助学生感谢信
2015/01/21 职场文书
2015年实习班主任工作总结
2015/04/23 职场文书
图解上海144收音机
2021/04/22 无线电
Mysql systemctl start mysqld报错的问题解决
2021/06/03 MySQL