Python标准库之多进程(multiprocessing包)介绍


Posted in Python onNovember 25, 2014

在初步了解Python多进程之后,我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。

进程池

进程池 (Process Pool)可以创建多个进程。这些进程就像是随时待命的士兵,准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵。

Python标准库之多进程(multiprocessing包)介绍

“三个进程的进程池”

比如下面的程序:

import multiprocessing as mul

def f(x):

    return x**2

pool = mul.Pool(5)

rel  = pool.map(f,[1,2,3,4,5,6,7,8,9,10])

print(rel)

我们创建了一个容许5个进程的进程池 (Process Pool) 。Pool运行的每个进程都执行f()函数。我们利用map()方法,将f()函数作用到表的每个元素上。这与built-in的map()函数类似,只是这里用5个进程并行处理。如果进程运行结束后,还有需要处理的元素,那么的进程会被用于重新运行f()函数。除了map()方法外,Pool还有下面的常用方法。

apply_async(func,args)  从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close()  进程池不再创建新的进程

join()   wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

练习

有下面一个文件download.txt。

www.sina.com.cn

www.163.com

www.iciba.com

www.cnblogs.com

www.qq.com

www.douban.com

使用包含3个进程的进程池下载文件中网站的首页。(你可以使用subprocess调用wget或者curl等下载工具执行具体的下载任务)

共享资源

我们在Python多进程初步已经提到,我们应该尽量避免多进程共享资源。多进程共享资源必然会带来进程间相互竞争。而这种竞争又会造成race condition,我们的结果有可能被竞争的不确定性所影响。但如果需要,我们依然可以通过共享内存和Manager对象这么做。

Python标准库之多进程(multiprocessing包)介绍

共享“资源”

共享内存

在Linux进程间通信中,我们已经讲述了共享内存(shared memory)的原理,这里给出用Python实现的例子:

# modified from official documentation

import multiprocessing

def f(n, a):

    n.value   = 3.14

    a[0]      = 5

num   = multiprocessing.Value('d', 0.0)

arr   = multiprocessing.Array('i', range(10))

p = multiprocessing.Process(target=f, args=(num, arr))

p.start()

p.join()

print num.value

print arr[:]

这里我们实际上只有主进程和Process对象代表的进程。我们在主进程的内存空间中创建共享的内存,也就是Value和Array两个对象。对象Value被设置成为双精度数(d), 并初始化为0.0。而Array则类似于C中的数组,有固定的类型(i, 也就是整数)。在Process进程中,我们修改了Value和Array对象。回到主程序,打印出结果,主程序也看到了两个对象的改变,说明资源确实在两个进程之间共享。

Manager

Manager对象类似于服务器与客户之间的通信 (server-client),与我们在Internet上的活动很类似。我们用一个进程作为服务器,建立Manager来真正存放资源。其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。在防火墙允许的情况下,我们完全可以将Manager运用于多计算机,从而模仿了一个真实的网络情境。下面的例子中,我们对Manager的使用类似于shared memory,但可以共享更丰富的对象类型。

import multiprocessing

def f(x, arr, l):

    x.value = 3.14

    arr[0] = 5

    l.append('Hello')

server = multiprocessing.Manager()

x    = server.Value('d', 0.0)

arr  = server.Array('i', range(10))

l    = server.list()

proc = multiprocessing.Process(target=f, args=(x, arr, l))

proc.start()

proc.join()

print(x.value)

print(arr)

print(l)

Manager利用list()方法提供了表的共享方式。实际上你可以利用dict()来共享词典,Lock()来共享threading.Lock(注意,我们共享的是threading.Lock,而不是进程的mutiprocessing.Lock。后者本身已经实现了进程共享)等。 这样Manager就允许我们共享更多样的对象。

我们在这里不深入讲解Manager在远程情况下的应用。有机会的话,会在网络应用中进一步探索。

总结

Pool
Shared memory, Manager

Python 相关文章推荐
浅析Python中的多重继承
Apr 28 Python
Python基于socket模块实现UDP通信功能示例
Apr 10 Python
python进行TCP端口扫描的实现
Dec 21 Python
Python3内置模块之json编解码方法小结【推荐】
Dec 09 Python
python使用paramiko模块通过ssh2协议对交换机进行配置的方法
Jul 25 Python
Python 3 判断2个字典相同
Aug 06 Python
基于python的BP神经网络及异或实现过程解析
Sep 30 Python
Python OpenCV图像指定区域裁剪的实现
Oct 30 Python
Python常用库Numpy进行矩阵运算详解
Jul 21 Python
Python如何使用vars返回对象的属性列表
Oct 17 Python
Python中非常使用的6种基本变量的操作与技巧
Mar 22 Python
python神经网络 使用Keras构建RNN训练
May 04 Python
Python标准库之随机数 (math包、random包)介绍
Nov 25 #Python
Python标准库之循环器(itertools)介绍
Nov 25 #Python
Python标准库之sqlite3使用实例
Nov 25 #Python
Python标准库内置函数complex介绍
Nov 25 #Python
Python XML RPC服务器端和客户端实例
Nov 22 #Python
Python实现读取目录所有文件的文件名并保存到txt文件代码
Nov 22 #Python
python进程类subprocess的一些操作方法例子
Nov 22 #Python
You might like
受疫情影响 动画《Re从零开始的异世界生活》第二季延期至7月
2020/03/10 日漫
ftp类(example.php)
2006/10/09 PHP
PHP逐行输出(ob_flush与flush的组合)
2012/02/04 PHP
php处理restful请求的路由类分享
2014/02/27 PHP
在网页中屏蔽快捷键
2006/09/06 Javascript
Javascript & DHTML 实例编程(教程)(三)初级实例篇1—上传文件控件实例
2007/06/02 Javascript
javascript游戏开发之《三国志曹操传》零部件开发(三)情景对话中仿打字机输出文字
2013/01/23 Javascript
JS将表单导出成EXCEL的实例代码
2013/11/11 Javascript
关闭浏览器时提示onbeforeunload事件
2013/12/25 Javascript
javascript原型继承工作原理和实例详解
2016/04/07 Javascript
深入理解js函数的作用域与this指向
2016/05/28 Javascript
JS采用绝对定位实现回到顶部效果完整实例
2016/06/20 Javascript
Vue-Router实现页面正在加载特效方法示例
2017/02/12 Javascript
Vue.js移动端左滑删除组件的实现代码
2017/09/08 Javascript
vue-image-crop基于Vue的移动端图片裁剪组件示例
2018/08/28 Javascript
详解如何理解vue的key属性
2019/04/14 Javascript
js实现蒙版效果
2020/01/11 Javascript
Javascript Worker子线程代码实例
2020/02/20 Javascript
Python ZipFile模块详解
2013/11/01 Python
Python Deque 模块使用详解
2014/07/04 Python
python自定义异常实例详解
2017/07/11 Python
pycharm修改界面主题颜色的方法
2019/01/17 Python
如何利用Python分析出微信朋友男女统计图
2019/01/25 Python
python pandas时序处理相关功能详解
2019/07/03 Python
pandas实现to_sql将DataFrame保存到数据库中
2019/07/03 Python
浅谈SciPy中的optimize.minimize实现受限优化问题
2020/02/29 Python
Windows下PyCharm配置Anaconda环境(超详细教程)
2020/07/31 Python
Habitat家居英国官方网站:沙发、家具、照明、厨房和户外
2019/12/12 全球购物
c/c++某大公司的两道笔试题
2014/02/02 面试题
港湾网络笔试题
2014/04/19 面试题
学员自我鉴定
2014/03/19 职场文书
党员干部廉洁承诺书
2014/05/28 职场文书
2014财务年度工作总结
2014/11/11 职场文书
2015年社区综治宣传月活动总结
2015/03/25 职场文书
格列夫游记读书笔记
2015/07/01 职场文书
详解thinkphp的Auth类认证
2021/05/28 PHP