python 进程池pool使用详解


Posted in Python onOctober 15, 2020

和选用线程池来关系多线程类似,当程序中设置到多进程编程时,Python 提供了更好的管理多个进程的方式,就是使用进程池。

在利用 Python 进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。

当被操作对象数目不大时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

Pool可以提供指定数量的进程供用户调用,当有新的请求提交到 pool 中时,如果进程池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。

Python multiprocessing 模块提供了 Pool() 函数,专门用来创建一个进程池,该函数的语法格式如下:

multiprocessing.Pool( processes )

其中,processes 参数用于指定该进程池中包含的进程数。

如果进程是 None,则默认使用 os.cpu_count() 返回的数字(根据本地的 cpu 个数决定,processes 小于等于本地的 cpu 个数)。

请看下面的实例:

from multiprocessing import Pool
import os
import time
import random

def worker(msg):
  t_start = time.time()
  print("%s开始执行,进程号为%d" % (msg, os.getpid()))
  # random.random()随机生成0~1之间的浮点数
  time.sleep(random.random()*2)
  t_stop = time.time()
  print(msg, "执行完毕,耗时%0.2f" % (t_stop-t_start))

if __name__ == "__main__":
  po = Pool(3) # 定义一个进程池,最大进程数3
  for i in range(0, 8):
    # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
    # 每次循环将会用空闲出来的子进程去调用目标
    po.apply_async(worker, (i,))

  print("----start----")
  # 关闭进程池,关闭后po不再接收新的请求
  po.close()
  # 等待po中所有子进程执行完成,必须放在close语句之后
  po.join()
  print("-----end-----")

运行结果:

python 进程池pool使用详解

multiprocessing.Pool 常用方法说明

apply_async(func[, args[, kwds]]) :使用非阻塞方式调用 func(并行执行,堵塞方式必须等待上一个进程退出才能执行下一个进程),args 为传递给 func 的参数列表,kwds 为传递给 func 的关键字参数列表。

close():关闭 Pool,使其不再接受新的任务。

terminate():不管任务是否完成,立即终止。

join():主进程阻塞,等待子进程的退出, 必须在 close 或 terminate 之后使用。

进程池中的 Queue

如果要使用 Pool 创建进程,就需要使用 multiprocessing.Manager() 中的 Queue(),而不是 multiprocessing.Queue(),否则会得到一条如下的错误信息:

RuntimeError: Queue objects should only be shared between processes through inheritance.

下面的实例演示了进程池中的进程如何通信:

from multiprocessing import Manager, Pool
import os
import time
import random

def writer(q):
  print("writer启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
  for i in "xiaoming":
    q.put(i)

def reader(q):
  print("reader启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
  for i in range(q.qsize()):
    print("reader从Queue获取到消息:%s" % q.get(True))

if __name__ == "__main__":
  print("(%s) start" % os.getpid())
  # 使用Manager中的Queue
  q = Manager().Queue()
  po = Pool()
  po.apply_async(writer, (q,))
  # 先让上面的任务向Queue存入数据,然后再让下面的任务开始从中取数据
  time.sleep(1)
  po.apply_async(reader, (q,))
  po.close()
  po.join()
  print("(%s) End" % os.getpid())

运行结果:

(17528) start
writer启动(2216),父进程为(17528)
reader启动(2216),父进程为(17528)
reader从Queue获取到消息:x
reader从Queue获取到消息:i
reader从Queue获取到消息:a
reader从Queue获取到消息:o
reader从Queue获取到消息:m
reader从Queue获取到消息:i
reader从Queue获取到消息:n
reader从Queue获取到消息:g
(17528) End

以上就是python 进程池pool使用详解的详细内容,更多关于python 进程池pool的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python记录详细调用堆栈日志的方法
May 05 Python
python操作redis的方法
Jul 07 Python
Python中set与frozenset方法和区别详解
May 23 Python
Python冒泡排序注意要点实例详解
Sep 09 Python
python3.6 实现AES加密的示例(pyCryptodome)
Jan 10 Python
Tensorflow 合并通道及加载子模型的方法
Jul 26 Python
pandas筛选某列出现编码错误的解决方法
Nov 07 Python
keras slice layer 层实现方式
Jun 11 Python
PyInstaller运行原理及常用操作详解
Jun 13 Python
python 实现的车牌识别项目
Jan 25 Python
基于Pygame实现简单的贪吃蛇游戏
Dec 06 Python
python 闭包函数详细介绍
Apr 19 Python
python 输入字符串生成所有有效的IP地址(LeetCode 93号题)
Oct 15 #Python
Python3使用 GitLab API 进行批量合并分支
Oct 15 #Python
10款最佳Python开发工具推荐,每一款都是神器
Oct 15 #Python
matplotlib教程——强大的python作图工具库
Oct 15 #Python
工程师必须了解的LRU缓存淘汰算法以及python实现过程
Oct 15 #Python
详解pycharm配置python解释器的问题
Oct 15 #Python
详解查看Python解释器路径的两种方式
Oct 15 #Python
You might like
聊天室php&mysql(二)
2006/10/09 PHP
PHP下10件你也许并不了解的事情
2008/09/11 PHP
解决File size limit exceeded 错误的方法
2013/06/14 PHP
php简单实现无限分类树形列表的方法
2015/03/27 PHP
php简单处理XML数据的方法示例
2017/05/19 PHP
PHP实现Huffman编码/解码的示例代码
2018/04/20 PHP
用Javascript实现Sleep暂停功能代码
2010/09/03 Javascript
Javascript学习笔记一 之 数据类型
2010/12/15 Javascript
映彩衣的js随笔(js图片切换效果)
2011/07/31 Javascript
JQ获取动态加载的图片大小的正确方法分享
2013/11/08 Javascript
快速解决Canvas.toDataURL 图片跨域的问题
2016/05/10 Javascript
JS实现图片垂直居中显示小结
2016/12/13 Javascript
angular.fromJson与toJson方法用法示例
2017/05/17 Javascript
Vuejs实现购物车功能
2017/11/05 Javascript
vue2.0实现前端星星评分功能组件实例代码
2018/02/12 Javascript
jQuery实现获取动态添加的标签对象示例
2018/06/28 jQuery
JS实现textarea通过换行或者回车把多行数字分割成数组并且去掉数组中空的值
2018/10/29 Javascript
提升node.js中使用redis的性能遇到的问题及解决方法
2018/10/30 Javascript
解决vue-pdf查看pdf文件及打印乱码的问题
2020/11/04 Javascript
Vue中强制组件重新渲染的正确方法
2021/01/03 Vue.js
[31:01]2014 DOTA2国际邀请赛中国区预选赛5.21 CNB VS Orenda
2014/05/23 DOTA
Python XML RPC服务器端和客户端实例
2014/11/22 Python
Python fileinput模块使用介绍
2014/11/30 Python
详解Python网络爬虫功能的基本写法
2016/01/28 Python
python解决方案:WindowsError: [Error 2]
2016/08/28 Python
python函数式编程学习之yield表达式形式详解
2018/03/25 Python
python3.6根据m3u8下载mp4视频
2019/06/17 Python
python pandas利用fillna方法实现部分自动填充功能
2020/03/16 Python
python解释器安装教程的方法步骤
2020/07/02 Python
专升本自我鉴定
2013/10/10 职场文书
主管职责范文
2013/11/09 职场文书
企业文化标语大全
2014/06/10 职场文书
爱护公共设施倡议书
2014/08/29 职场文书
预备党员群众路线思想汇报2014
2014/10/25 职场文书
2015年政协委员工作总结
2015/05/20 职场文书
2015年生活老师工作总结
2015/05/27 职场文书