Python标准库之多进程(multiprocessing包)介绍


Posted in Python onNovember 25, 2014

在初步了解Python多进程之后,我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。

进程池

进程池 (Process Pool)可以创建多个进程。这些进程就像是随时待命的士兵,准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵。

Python标准库之多进程(multiprocessing包)介绍

“三个进程的进程池”

比如下面的程序:

import multiprocessing as mul

def f(x):

    return x**2

pool = mul.Pool(5)

rel  = pool.map(f,[1,2,3,4,5,6,7,8,9,10])

print(rel)

我们创建了一个容许5个进程的进程池 (Process Pool) 。Pool运行的每个进程都执行f()函数。我们利用map()方法,将f()函数作用到表的每个元素上。这与built-in的map()函数类似,只是这里用5个进程并行处理。如果进程运行结束后,还有需要处理的元素,那么的进程会被用于重新运行f()函数。除了map()方法外,Pool还有下面的常用方法。

apply_async(func,args)  从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close()  进程池不再创建新的进程

join()   wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

练习

有下面一个文件download.txt。

www.sina.com.cn

www.163.com

www.iciba.com

www.cnblogs.com

www.qq.com

www.douban.com

使用包含3个进程的进程池下载文件中网站的首页。(你可以使用subprocess调用wget或者curl等下载工具执行具体的下载任务)

共享资源

我们在Python多进程初步已经提到,我们应该尽量避免多进程共享资源。多进程共享资源必然会带来进程间相互竞争。而这种竞争又会造成race condition,我们的结果有可能被竞争的不确定性所影响。但如果需要,我们依然可以通过共享内存和Manager对象这么做。

Python标准库之多进程(multiprocessing包)介绍

共享“资源”

共享内存

在Linux进程间通信中,我们已经讲述了共享内存(shared memory)的原理,这里给出用Python实现的例子:

# modified from official documentation

import multiprocessing

def f(n, a):

    n.value   = 3.14

    a[0]      = 5

num   = multiprocessing.Value('d', 0.0)

arr   = multiprocessing.Array('i', range(10))

p = multiprocessing.Process(target=f, args=(num, arr))

p.start()

p.join()

print num.value

print arr[:]

这里我们实际上只有主进程和Process对象代表的进程。我们在主进程的内存空间中创建共享的内存,也就是Value和Array两个对象。对象Value被设置成为双精度数(d), 并初始化为0.0。而Array则类似于C中的数组,有固定的类型(i, 也就是整数)。在Process进程中,我们修改了Value和Array对象。回到主程序,打印出结果,主程序也看到了两个对象的改变,说明资源确实在两个进程之间共享。

Manager

Manager对象类似于服务器与客户之间的通信 (server-client),与我们在Internet上的活动很类似。我们用一个进程作为服务器,建立Manager来真正存放资源。其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。在防火墙允许的情况下,我们完全可以将Manager运用于多计算机,从而模仿了一个真实的网络情境。下面的例子中,我们对Manager的使用类似于shared memory,但可以共享更丰富的对象类型。

import multiprocessing

def f(x, arr, l):

    x.value = 3.14

    arr[0] = 5

    l.append('Hello')

server = multiprocessing.Manager()

x    = server.Value('d', 0.0)

arr  = server.Array('i', range(10))

l    = server.list()

proc = multiprocessing.Process(target=f, args=(x, arr, l))

proc.start()

proc.join()

print(x.value)

print(arr)

print(l)

Manager利用list()方法提供了表的共享方式。实际上你可以利用dict()来共享词典,Lock()来共享threading.Lock(注意,我们共享的是threading.Lock,而不是进程的mutiprocessing.Lock。后者本身已经实现了进程共享)等。 这样Manager就允许我们共享更多样的对象。

我们在这里不深入讲解Manager在远程情况下的应用。有机会的话,会在网络应用中进一步探索。

总结

Pool
Shared memory, Manager

Python 相关文章推荐
python计算最小优先级队列代码分享
Dec 18 Python
python的Template使用指南
Sep 11 Python
理解Python中的With语句
Feb 02 Python
Django中的“惰性翻译”方法的相关使用
Jul 27 Python
Django自定义manage命令实例代码
Feb 11 Python
在python3.5中使用OpenCV的实例讲解
Apr 02 Python
python爬虫实例详解
Jun 19 Python
解决Python 命令行执行脚本时,提示导入的包找不到的问题
Jan 19 Python
Python利用pandas处理Excel数据的应用详解
Jun 18 Python
Django生成PDF文档显示在网页上以及解决PDF中文显示乱码的问题
Jul 04 Python
Django使用channels + websocket打造在线聊天室
May 20 Python
Python pandas之求和运算和非空值个数统计
Aug 07 Python
Python标准库之随机数 (math包、random包)介绍
Nov 25 #Python
Python标准库之循环器(itertools)介绍
Nov 25 #Python
Python标准库之sqlite3使用实例
Nov 25 #Python
Python标准库内置函数complex介绍
Nov 25 #Python
Python XML RPC服务器端和客户端实例
Nov 22 #Python
Python实现读取目录所有文件的文件名并保存到txt文件代码
Nov 22 #Python
python进程类subprocess的一些操作方法例子
Nov 22 #Python
You might like
星际原理概述
2020/03/04 星际争霸
YII路径的用法总结
2014/07/09 PHP
Thinkphp关闭缓存的方法
2015/06/26 PHP
ThinkPHP框架实现的邮箱激活功能示例
2018/06/15 PHP
遨游,飞飞,IE,空中网 浏览器无提示关闭方法
2011/07/11 Javascript
js下拉框二级关联菜单效果代码具体实现
2013/08/03 Javascript
jquery表单验证框架提供的身份证验证方法(示例代码)
2013/12/27 Javascript
jquery中获得元素尺寸和坐标的方法整理
2014/05/18 Javascript
Node.js 制作实时多人游戏框架
2015/01/08 Javascript
javascript作用域链(Scope Chain)用法实例解析
2015/11/30 Javascript
基于jQuery实现仿51job城市选择功能实例代码
2016/03/02 Javascript
微信小程序 利用css实现遮罩效果实例详解
2017/01/21 Javascript
vue省市区三联动下拉选择组件的实现
2017/04/28 Javascript
javascript完美实现给定日期返回上月日期的方法
2017/06/15 Javascript
Javascript实现基本运算器
2017/07/15 Javascript
Bootstrap图片轮播效果详解
2017/10/17 Javascript
Angular中的ng-template及angular 使用ngTemplateOutlet 指令的方法
2018/08/08 Javascript
python使用pandas处理excel文件转为csv文件的方法示例
2019/07/18 Python
python并发编程 Process对象的其他属性方法join方法详解
2019/08/20 Python
Python 调用 Windows API COM 新法
2019/08/22 Python
Python使用qrcode二维码库生成二维码方法详解
2020/02/17 Python
python 实现控制鼠标键盘
2020/11/27 Python
CSS3 简单又实用的5个属性
2010/03/04 HTML / CSS
JBL加拿大官方商店:扬声器、耳机等
2020/10/23 全球购物
花卉与景观设计系大学生求职信
2013/10/01 职场文书
初中生学习生活的自我评价
2013/11/20 职场文书
测控技术与仪器个人求职信范文
2013/12/30 职场文书
心理健康心得体会
2014/01/02 职场文书
应届专科生个人的自我评价
2014/01/05 职场文书
幼儿园教师培训制度
2014/01/16 职场文书
租车协议书范本
2014/04/22 职场文书
个人担保书范文
2014/05/20 职场文书
会计专业毕业生自荐书
2014/06/25 职场文书
计划生育证明格式及范本
2014/10/09 职场文书
员工自我评价范文
2015/03/11 职场文书
2015年学校安全工作总结
2015/04/22 职场文书