Python高级编程之消息队列(Queue)与进程池(Pool)实例详解


Posted in Python onNovember 01, 2019

本文实例讲述了Python高级编程之消息队列(Queue)与进程池(Pool)。分享给大家供大家参考,具体如下:

Queue消息队列

1.创建

import multiprocessing
queue = multiprocessing.Queue(队列长度)

2.方法

方法 描述
put 变量名.put(数据),放入数据(如队列已满,则程序进入阻塞状态,等待队列取出后再放入)
put_nowait 变量名.put_nowati(数据),放入数据(如队列已满,则不等待队列信息取出后再放入,直接报错)
get 变量名.get(数据),取出数据(如队列为空,则程序进入阻塞状态,等待队列防如数据后再取出)
get_nowait 变量名.get_nowait(数据),取出数据(如队列为空,则不等待队列放入信息后取出数据,直接报错),放入数据后立马判断是否为空有时为True,原因是放入值和判断同时进行
qsize 变量名.qsize(),消息数量
empty 变量名.empty()(返回值为True或False),判断是否为空
full 变量名.full()(返回值为True或False),判断是否为满

3.进程通信

因为进程间不共享全局变量,所以使用Queue进行数据通信,可以在父进程中创建两个字进程,一个往Queue里写数据,一个从Queue里取出数据。
例:

import multiprocessing
import time
def write_queue(queue):
  # 循环写入数据
  for i in range(10):
    if queue.full():
      print("队列已满!")
      break
    # 向队列中放入消息
    queue.put(i)
    print(i)
    time.sleep(0.5)
def read_queue(queue):
  # 循环读取队列消息
  while True:
    # 队列为空,停止读取
    if queue.empty():
      print("---队列已空---")
      break
    # 读取消息并输出
    result = queue.get()
    print(result)
if __name__ == '__main__':
  # 创建消息队列
  queue = multiprocessing.Queue(3)
  # 创建子进程
  p1 = multiprocessing.Process(target=write_queue, args=(queue,))
  p1.start()
  # 等待p1写数据进程执行结束后,再往下执行
  p1.join()
  p1 = multiprocessing.Process(target=read_queue, args=(queue,))
  p1.start()

执行结果:

Python高级编程之消息队列(Queue)与进程池(Pool)实例详解

Pool进程池

初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。

1.创建

import multiprocessing
pool = multiprocessing.Pool(最大进程数)

2.方法

方法 描述
apply() 以同步方式添加进程
apply_async() 以异步方式添加进程
close() 关闭Pool,使其不接受新任务(还可以使用)
terminate() 不管任务是否完成,立即终止
join() 主进程阻塞,等待子进程的退出,必须在close和terminate后使用

3.进程池内通信

创建进程池内Queue消息队列通信

import multiprocessing 
Queue:queue = multiprocessing.Manager().Queue()

例:

import multiprocessing 
import time

写入数据的方法

def write_data(queue): 
# for循环 向消息队列中写入值 
for i in range(5): 
# 添加消息 
queue.put(i) 
print(i) 
time.sleep(0.2) 
print("队列已满~")

创建读取数据的方法

def read_data(queue):
  # 循环读取数据
  while True:
    # 判断队列是否为空
    if queue.qsize() == 0:
      print("队列为空~")
      break
    # 从队列中读取数据
    result = queue.get()
    print(result)
if __name__ == '__main__':
  # 创建进程池
  pool = multiprocessing.Pool(2)
  # 创建进程池队列
  queue = multiprocessing.Manager().Queue()
  # 在进程池中的进程间进行通信
  # 使用线程池同步的方式,先写后读
  # pool.apply(write_data, (queue, ))
  # pool.apply(read_data, (queue, ))
  # apply_async() 返回ApplyResult 对象
  result = pool.apply_async(write_data, (queue, ))
  # ApplyResult对象的wait() 方法,表示后续进程必须等待当前进程执行完再继续
  result.wait()
  pool.apply_async(read_data, (queue, ))
  pool.close()
  # 异步后,主线程不再等待子进程执行结束,再结束
  # join() 后,表示主线程会等待子进程执行结束后,再结束
  pool.join()

运行结果:

Python高级编程之消息队列(Queue)与进程池(Pool)实例详解 

4.案例(文件夹copy器)

代码:

# 导入模块
import os
import multiprocessing
# 拷贝文件函数
def copy_dir(file_name, source_dir, desk_dir):
  # 要拷贝的文件路径
  source_path = source_dir+'/'+file_name
  # 目标路径
  desk_path = desk_dir+'/'+file_name
  # 获取文件大小
  file_size = os.path.getsize(source_path)
  # 记录拷贝次数
  i = 0
  # 以二进制度读方式打开原文件
  with open(source_path, "rb") as source_file:
    # 以二进制写入方式创建并打开目标文件
    with open(desk_path, "wb") as desk_file:
      # 循环写入
      while True:
        # 读取1024字节
        file_data = source_file.read(1024)
        # 如果读到的不为空,则将读到的写入目标文件
        if file_data:
          desk_file.write(file_data)
          # 读取次数+1
          i += 1
          # 拷贝百分比进度等于拷贝次数*1024*100/文件大小
          n = i*102400/file_size
          if n >= 100:
            n = 100
          print(file_name, "拷贝进度%.2f%%" % n)
        else:
          print(file_name, "拷贝成功")
          break
if __name__ == '__main__':
  # 要拷贝的文件夹
  source_dir = 'test'
  # 要拷贝到的路径
  desk_dir = 'C:/Users/Administrator/Desktop/'+source_dir
  # 存在文件夹则不创建
  try:
    os.mkdir(desk_dir)
  except:
    print("目标文件夹已存在,未创建")
  # 获取文件夹内文件目录,存到列表里
  file_list = os.listdir(source_dir)
  print(file_list)
  # 创建进程池,最多同时运行3个子进程
  pool = multiprocessing.Pool(3)
  for file_name in file_list:
    # 异步方式添加到进程池内
    pool.apply_async(copy_dir, args=(file_name, source_dir, desk_dir))
  # 关闭进程池(停止添加,已添加的还可运行)
  pool.close()
  # 让主进程阻塞,等待子进程结束
  pool.join()

运行结果:

Python高级编程之消息队列(Queue)与进程池(Pool)实例详解

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python实现博客文章爬虫示例
Feb 26 Python
python实现在sqlite动态创建表的方法
May 08 Python
python简单分割文件的方法
Jul 30 Python
python 多线程实现检测服务器在线情况
Nov 25 Python
深入理解Python变量与常量
Jun 02 Python
Python教程之全局变量用法
Jun 27 Python
Android 兼容性问题:java.lang.UnsupportedOperationException解决办法
Mar 19 Python
Python中的默认参数实例分析
Jan 29 Python
python utc datetime转换为时间戳的方法
Jan 15 Python
pyqt5之将textBrowser的内容写入txt文档的方法
Jun 21 Python
解决Pycharm的项目目录突然消失的问题
Jan 20 Python
Python unittest装饰器实现原理及代码
Sep 08 Python
python基于socket实现的UDP及TCP通讯功能示例
Nov 01 #Python
python中time库的实例使用方法
Oct 31 #Python
Django实现分页显示效果
Oct 31 #Python
Django实现基于类的分页功能
Oct 31 #Python
python Django框架实现web端分页呈现数据
Oct 31 #Python
python3常用的数据清洗方法(小结)
Oct 31 #Python
Django实现网页分页功能
Oct 31 #Python
You might like
PHP 5.0对象模型深度探索之属性和方法
2008/03/27 PHP
PHP中文分词 自动获取关键词介绍
2012/11/13 PHP
php多功能图片处理类分享(php图片缩放类)
2014/03/14 PHP
PHP多进程编程总结(推荐)
2016/07/18 PHP
PHP实现随机生成水印图片功能
2017/03/22 PHP
基于Jquery的回车成tab焦点切换效果代码(Enter To Tab )
2010/11/14 Javascript
再谈querySelector和querySelectorAll的区别与联系
2012/04/20 Javascript
Javascript中的方法链(Method Chaining)介绍
2015/03/15 Javascript
jQuery实现table中两列CheckBox只能选中一个的示例
2017/09/22 jQuery
基于$.ajax()方法从服务器获取json数据的几种方式总结
2018/01/31 Javascript
jquery的 filter()方法使用教程
2018/03/22 jQuery
基于jQuery使用Ajax动态执行模糊查询功能
2018/07/05 jQuery
vue移动端屏幕适配详解
2019/04/30 Javascript
vue 动态组件用法示例小结
2020/03/06 Javascript
vue项目使用$router.go(-1)返回时刷新原来的界面操作
2020/07/26 Javascript
python 七种邮件内容发送方法实例
2014/04/22 Python
python错误:AttributeError: 'module' object has no attribute 'setdefaultencoding'问题的解决方法
2014/08/22 Python
python处理html转义字符的方法详解
2016/07/01 Python
python 递归遍历文件夹,并打印满足条件的文件路径实例
2017/08/30 Python
python实现百度语音识别api
2018/04/10 Python
Python3 max()函数基础用法
2019/02/19 Python
python3.5安装python3-tk详解
2019/04/26 Python
django使用admin站点上传图片的实例
2019/07/28 Python
python实现windows倒计时锁屏功能
2019/07/30 Python
Python编写带选项的命令行程序方法
2019/08/13 Python
Python类绑定方法及非绑定方法实例解析
2020/10/09 Python
英国领先的野生鸟类食品供应商:GardenBird
2018/08/09 全球购物
总经理职责范文
2013/11/08 职场文书
十佳中学生事迹材料
2014/06/02 职场文书
市场营销专业应届生自荐信
2014/06/19 职场文书
微笑服务标语
2014/06/24 职场文书
安全承诺书格式范本
2015/04/28 职场文书
基层组织建设年活动总结
2015/05/09 职场文书
导游词之金鞭溪风景区
2019/09/12 职场文书
你离财务总监还有多远?速览CFO的岗位职责
2019/11/18 职场文书
Redis调用Lua脚本及使用场景快速掌握
2022/03/16 Redis