Python multiprocessing多进程原理与应用示例


Posted in Python onFebruary 28, 2019

本文实例讲述了Python multiprocessing多进程原理与应用。分享给大家供大家参考,具体如下:

multiprocessing包是Python中的多进程管理包,可以利用multiprocessing.Process对象来创建进程,Process对象拥有is_alive()join([timeout])run()start()terminate()等方法。

multprocessing模块的核心就是使管理进程像管理线程一样方便,每个进程有自己独立的GIL,所以不存在进程间争抢GIL的问题,在多核CPU环境中,可以大大提高运行效率。

multiprocessing使用示例:

import multiprocessing
import time
import cv2
def daemon1(image):
  name = multiprocessing.current_process().name
  for i in range(50):
    image = cv2.GaussianBlur(image, (3, 3), 1)
    time.sleep(0.1)
  print 'daemon1 done!'
  cv2.imshow('daemon1', image)
def daemon2(image):
  name = multiprocessing.current_process().name
  for i in range(50):
    image = cv2.GaussianBlur(image, (3, 3), 1)
    time.sleep(0.5)
  print 'daemon2 done!'
  cv2.imshow('daemon2', image)
if __name__ == '__main__':
  t1 = time.time()
  number_kernel = multiprocessing.cpu_count()
  print 'We have {0} kernels'.format(number_kernel)
  p1 = multiprocessing.Process(name='daemon1',
                target=daemon1,args= (cv2.imread('./p1.jpg'),))
  p1.daemon = False
  p2 = multiprocessing.Process(name='daemon2',
                target=daemon2, args=(cv2.imread('./p2.jpg'),))
  p2.daemon = False
  p1.start()
  p2.start()
  print 'p1 is {0}'.format(p1.is_alive())
  p1.terminate()
  p1.join()
  print 'p1 is {0}'.format(p1.is_alive())
  print 'p2 is {0}'.format(p2.is_alive())
  p2.join()
  t2 = time.time()
  print '!!!!!!!!!!!!!!!!!!!!OK!!!!!!!!!!!!!!!!!!!!!'
  print 'total time is {0}'.format(t2-t1)
  print 'p1.exitcode = {0}'.format(p1.exitcode)
  print 'p2.exitcode = {0}'.format(p2.exitcode)

multiprocessing中Process是一个类,用于创建进程,以及定义进程的方法,Process类的构造函数是:

def __init__(self, group=None, target=None, name=None, args=(), kwargs={})

参数含义:

  • group:进程所属组,基本不用
  • target: 创建进程关联的对象,需要传入要多进程处理的函数名
  • name: 定义进程的名称
  • args: 表示与target相关联的函数的传入参数,可以传入多个,注意args是一个元组,如果传入的参数只有一个,需要表示为 args = (element1,)
  • kwargs: 表示调用对象的字典

程序解读:

  • multiprocessing.cpu_count(): 返回机器上cpu核的总数量
  • p1.daemon = False : 定义子进程的运行属性,如果 .daemon设置为False表示子进程可以在主进程完成之后继续执行; 如果 .daemon设置为True,表示子进程随着主进程的结束而结束;必须在start之前设置;
  • p1.start(): 开始执行子进程p1
  • p1.join(): 定义子进程p1的运行阻塞主进程,只有p1子进程执行完成之后才会继续执行join之后的主进程,但是子进程间互相不受join影响。
  • 可以定义子进程阻塞主进程的时间--p1.join(100),超时之后,主进程不再等待,开始执行。join()需要放在start()方法之后;
  • p1.terminate():终止子进程的执行,其后要跟上jion()方法更新子进程的状态;
  • p1.exitcode: 进程的退出状态:  == 0 未生成任何错误,正常退出;  > 0 进程有一个错误,并以该错误码退出;    <0 进程由一个-1 * exitcode信号结束

在multiprocessing中使用pool

如果需要多个子进程时,使用进程池(pool)来(自动)管理各个子进程更加方便:

from multiprocessing import Pool
import os, time
def long_time_task(name):
  print 'Run task {0} ({1})'.format(name,os.getpid())
  start = time.time()
  time.sleep(3)
  end = time.time()
  print 'Task {0} runs {1:.2f} seconds.'.format(name,end - start)
if __name__=='__main__':
  print 'Parent process ({0})'.format(os.getpid)
  p = Pool()
  for i in range(12):
    p.apply_async(long_time_task, args=(i,))
  print 'Waiting for all subprocesses done...'
  p.close()
  p.join()
  print 'All subprocesses done.'

与Process类创建进程的方法不同,Pool是通过apply_async(func,args=(args))方法创建进程,一个进程池中能同时运行的任务数是机器上CPU核的总数量n_kernel,如果创建的子进程数大于n_kernel,则同时执行n_kernel个进程,这n_kernel中某个进程完成之后才会启动下一个进程。

  • os.getpid()是获取当前执行的进程的ID
  • p.close()方法是关掉进程池,表示不能再继续向进程池添加进程了。
  • p.join()方法是子进程阻塞主进程,必须在调用p.close()关闭进程池之后才能调用join()方法

多个子进程间的通信

多个子进程间的通信要用到multiprocessing.Queue,Queue的特性是它是一个消息队列。比如有以下的需求,一个子进程向队列中写数据,另外一个进程从队列中取数据的例子:

from multiprocessing import Process, Queue
import os, time, random
def write(q):
  for value in ['A', 'B', 'C']:
    print 'Put {0} to queue...'.format(value)
    q.put(value)
    time.sleep(random.random())
def read(q):
  while True:
    if not q.empty():
      value = q.get(True)
      print 'Get {0} from queue.'.format(value)
      time.sleep(random.random())
    else:
      break
if __name__=='__main__':
  q = multiprocessing.Queue()
  pw = Process(target=write, args=(q,))
  pr = Process(target=read, args=(q,))
  pw.start()
  pw.join()
  pr.start()
  pr.join()

Queue使用方法:

  • Queue.qsize():返回当前队列包含的消息数量;
  • Queue.empty():如果队列为空,返回True,反之False ;
  • Queue.full():如果队列满了,返回True,反之False;
  • Queue.get():获取队列中的一条消息,然后将其从列队中移除,可传参超时时长;
  • Queue.get_nowait():相当Queue.get(False),取不到值时触发异常:Empty;
  • Queue.put():将一个值添加进数列,可传参超时时长;
  • Queue.put_nowait():相当于Queue.get(False),当队列满了时报错:Full;

在进程池Pool中,使用Queue会出错,需要使用Manager.Queue

from multiprocessing import Process, Queue
import os, time, random
def write(q):
  for value in ['A', 'B', 'C']:
    print 'Put {0} to queue...'.format(value)
    q.put(value)
    time.sleep(random.random())
def read(q):
  while True:
    if not q.empty():
      value = q.get(True)
      print 'Get {0} from queue.'.format(value)
      time.sleep(random.random())
    else:
      break
if __name__=='__main__':
  manager = multiprocessing.Manager()
  q = manager.Queue()
  p = Pool()
  pw = p.apply_async(write, args=(q,))
  time.sleep(2)
  pr = p.apply_async(read, args=(q,))
  p.close()
  p.join()
  if not q.empty():
    print 'q is not empty...'
  else:
    print 'q is empty...'
  print 'OK'
  if not q.empty():
    print 'q is not empty...'
  else:
    print 'q is empty...'
  print 'done...'

父进程与子进程共享内存

定义普通的变量,不能实现在父进程和子进程之间共享:

import multiprocessing
from multiprocessing import Pool
def changevalue(n, a):
  n = 3.14
  a[0] = 5
if __name__ == '__main__':
  num = 0
  arr = range(10)
  p = Pool()
  p1 = p.apply_async(changevalue, args=(num, arr))
  p.close()
  p.join()
  print num
  print arr[:]

结果输出num的值还是在父进程中定义的0,arr的第一个元素值还是0。

使用multiprocessing创建共享对象:

import multiprocessing
def changevalue(n, a):
  n.value = 3.14
  a[0] = 5
if __name__ == '__main__':
  num = multiprocessing.Value('d', 0.0)
  arr = multiprocessing.Array('i', range(10))
  p = multiprocessing.Process(target=changevalue, args=(num, arr))
  p.start()
  p.join()
  print num.value
  print arr[:]

结果输出num的值是在子进程中修改的3.14,arr的第一个元素值更改为5。

共享内存在Pool中的使用:

import multiprocessing
from multiprocessing import Pool
def changevalue(n, a):
  n.value = 3.14
  a[0] = 5
if __name__ == '__main__':
  num = multiprocessing.Value('d', 0.0)
  arr = multiprocessing.Array('i', range(10))
  p = Pool()
  p1 = p.apply_async(changevalue, args=(num, arr))
  p.close()
  p.join()
  print num.value
  print arr[:]

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python实现数通设备tftp备份配置文件示例
Apr 02 Python
Python基础之函数用法实例详解
Sep 10 Python
python 批量修改/替换数据的实例
Jul 25 Python
python 堆和优先队列的使用详解
Mar 05 Python
python实现弹窗祝福效果
Apr 07 Python
Django框架实现分页显示内容的方法详解
May 10 Python
python使用opencv对图像mask处理的方法
Jul 05 Python
在python中将list分段并保存为array类型的方法
Jul 15 Python
Python使用qrcode二维码库生成二维码方法详解
Feb 17 Python
全网首秀之Pycharm十大实用技巧(推荐)
Apr 27 Python
python tkinter Entry控件的焦点移动操作
May 22 Python
利用Python实现翻译HTML中的文本字符串
Jun 21 Python
Python中的异常处理try/except/finally/raise用法分析
Feb 28 #Python
python使用phoenixdb操作hbase的方法示例
Feb 28 #Python
Python面向对象程序设计中类的定义、实例化、封装及私有变量/方法详解
Feb 28 #Python
Python类的继承、多态及获取对象信息操作详解
Feb 28 #Python
django模板结构优化的方法
Feb 28 #Python
详解python做UI界面的方法
Feb 27 #Python
总结python中pass的作用
Feb 27 #Python
You might like
PHP多个版本的分析解释
2011/07/21 PHP
javascript+php实现根据用户时区显示当地时间的方法
2015/03/11 PHP
php类自动加载器实现方法
2015/07/28 PHP
PHP入门教程之字符串处理技巧总结(转换,过滤,解析,查找,截取,替换等)
2016/09/11 PHP
THinkPHP获取客户端IP与IP地址查询的方法
2016/11/14 PHP
php实现给二维数组中所有一维数组添加值的方法
2017/02/04 PHP
浅析PHP echo 和 print 语句
2020/06/30 PHP
bgsound 背景音乐 的一些常用方法及特殊用法小结
2010/05/11 Javascript
jquery 元素相对定位代码
2010/10/15 Javascript
js获取时间(本周、本季度、本月..)
2013/11/22 Javascript
JavaScript中的变量作用域介绍
2014/12/31 Javascript
使用Raygun来自动追踪AngularJS中的异常
2015/06/23 Javascript
AngularJS基础 ng-if 指令用法
2016/08/01 Javascript
使用vue构建一个上传图片表单
2017/07/04 Javascript
JS设置随机出现2个数字的实例代码
2017/07/19 Javascript
详解如何用typescript开发koa2的二三事
2018/11/13 Javascript
VUE2.0 ElementUI2.0表格el-table自适应高度的实现方法
2018/11/28 Javascript
可能被忽略的一些JavaScript数组方法细节
2019/02/28 Javascript
使用PYTHON接收多播数据的代码
2012/03/01 Python
Python中模拟enum枚举类型的5种方法分享
2014/11/22 Python
对Python+opencv将图片生成视频的实例详解
2019/01/08 Python
Python实现的远程文件自动打包并下载功能示例
2019/07/12 Python
python 通过手机号识别出对应的微信性别(实例代码)
2019/12/22 Python
耐克巴西官方网站:Nike巴西
2016/08/14 全球购物
英国领先的汽车轮胎和快速健康中心:Kwik Fit
2017/10/29 全球购物
L’AGENCE官网:加州女装品牌
2018/06/03 全球购物
绘儿乐产品官方在线商店:Crayola.com
2019/09/07 全球购物
软件测试企业面试试卷
2016/07/13 面试题
项目经理任命书范本
2014/06/05 职场文书
应聘教师自荐书
2014/06/16 职场文书
毕业生工作求职信
2014/06/30 职场文书
幼儿园教师安全责任书
2015/05/08 职场文书
汉字听写大会观后感
2015/06/12 职场文书
python requests模块的使用示例
2021/04/07 Python
解决Django transaction进行事务管理踩过的坑
2021/04/24 Python
Python通过loop.run_in_executor执行同步代码 同步变为异步
2022/04/11 Python