Python标准库之多进程(multiprocessing包)介绍


Posted in Python onNovember 25, 2014

在初步了解Python多进程之后,我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。

进程池

进程池 (Process Pool)可以创建多个进程。这些进程就像是随时待命的士兵,准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵。

Python标准库之多进程(multiprocessing包)介绍

“三个进程的进程池”

比如下面的程序:

import multiprocessing as mul

def f(x):

    return x**2

pool = mul.Pool(5)

rel  = pool.map(f,[1,2,3,4,5,6,7,8,9,10])

print(rel)

我们创建了一个容许5个进程的进程池 (Process Pool) 。Pool运行的每个进程都执行f()函数。我们利用map()方法,将f()函数作用到表的每个元素上。这与built-in的map()函数类似,只是这里用5个进程并行处理。如果进程运行结束后,还有需要处理的元素,那么的进程会被用于重新运行f()函数。除了map()方法外,Pool还有下面的常用方法。

apply_async(func,args)  从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close()  进程池不再创建新的进程

join()   wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

练习

有下面一个文件download.txt。

www.sina.com.cn

www.163.com

www.iciba.com

www.cnblogs.com

www.qq.com

www.douban.com

使用包含3个进程的进程池下载文件中网站的首页。(你可以使用subprocess调用wget或者curl等下载工具执行具体的下载任务)

共享资源

我们在Python多进程初步已经提到,我们应该尽量避免多进程共享资源。多进程共享资源必然会带来进程间相互竞争。而这种竞争又会造成race condition,我们的结果有可能被竞争的不确定性所影响。但如果需要,我们依然可以通过共享内存和Manager对象这么做。

Python标准库之多进程(multiprocessing包)介绍

共享“资源”

共享内存

在Linux进程间通信中,我们已经讲述了共享内存(shared memory)的原理,这里给出用Python实现的例子:

# modified from official documentation

import multiprocessing

def f(n, a):

    n.value   = 3.14

    a[0]      = 5

num   = multiprocessing.Value('d', 0.0)

arr   = multiprocessing.Array('i', range(10))

p = multiprocessing.Process(target=f, args=(num, arr))

p.start()

p.join()

print num.value

print arr[:]

这里我们实际上只有主进程和Process对象代表的进程。我们在主进程的内存空间中创建共享的内存,也就是Value和Array两个对象。对象Value被设置成为双精度数(d), 并初始化为0.0。而Array则类似于C中的数组,有固定的类型(i, 也就是整数)。在Process进程中,我们修改了Value和Array对象。回到主程序,打印出结果,主程序也看到了两个对象的改变,说明资源确实在两个进程之间共享。

Manager

Manager对象类似于服务器与客户之间的通信 (server-client),与我们在Internet上的活动很类似。我们用一个进程作为服务器,建立Manager来真正存放资源。其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。在防火墙允许的情况下,我们完全可以将Manager运用于多计算机,从而模仿了一个真实的网络情境。下面的例子中,我们对Manager的使用类似于shared memory,但可以共享更丰富的对象类型。

import multiprocessing

def f(x, arr, l):

    x.value = 3.14

    arr[0] = 5

    l.append('Hello')

server = multiprocessing.Manager()

x    = server.Value('d', 0.0)

arr  = server.Array('i', range(10))

l    = server.list()

proc = multiprocessing.Process(target=f, args=(x, arr, l))

proc.start()

proc.join()

print(x.value)

print(arr)

print(l)

Manager利用list()方法提供了表的共享方式。实际上你可以利用dict()来共享词典,Lock()来共享threading.Lock(注意,我们共享的是threading.Lock,而不是进程的mutiprocessing.Lock。后者本身已经实现了进程共享)等。 这样Manager就允许我们共享更多样的对象。

我们在这里不深入讲解Manager在远程情况下的应用。有机会的话,会在网络应用中进一步探索。

总结

Pool
Shared memory, Manager

Python 相关文章推荐
使用python调用浏览器并打开一个网址的例子
Jun 05 Python
python threading模块操作多线程介绍
Apr 08 Python
浅谈python装饰器探究与参数的领取
Dec 01 Python
python使用Tkinter实现在线音乐播放器
Jan 30 Python
python 集合 并集、交集 Series list set 转换的实例
May 29 Python
Python寻找两个有序数组的中位数实例详解
Dec 05 Python
python集合是否可变总结
Jun 20 Python
Python3操作Excel文件(读写)的简单实例
Sep 02 Python
Python3爬虫中关于Ajax分析方法的总结
Jul 10 Python
Python Process创建进程的2种方法详解
Jan 25 Python
python图像处理 PIL Image操作实例
Apr 09 Python
Python内置包对JSON文件数据进行编码和解码
Apr 12 Python
Python标准库之随机数 (math包、random包)介绍
Nov 25 #Python
Python标准库之循环器(itertools)介绍
Nov 25 #Python
Python标准库之sqlite3使用实例
Nov 25 #Python
Python标准库内置函数complex介绍
Nov 25 #Python
Python XML RPC服务器端和客户端实例
Nov 22 #Python
Python实现读取目录所有文件的文件名并保存到txt文件代码
Nov 22 #Python
python进程类subprocess的一些操作方法例子
Nov 22 #Python
You might like
浅析PHP原理之变量(Variables inside PHP)
2013/08/09 PHP
php中magic_quotes_gpc对unserialize的影响分析
2014/12/16 PHP
Laravel 5框架学习之用户认证
2015/04/09 PHP
zend framework中使用memcache的方法
2016/03/04 PHP
cakephp常见知识点汇总
2017/02/24 PHP
php实现websocket实时消息推送
2018/03/30 PHP
PHP共享内存使用与信号控制实例分析
2018/05/09 PHP
jquery入门—编写一个导航条(可伸缩)
2013/01/07 Javascript
js操作输入框中选择内容兼容IE及其他主流浏览器
2014/04/22 Javascript
使用原生js实现页面蒙灰(mask)效果示例代码
2014/06/20 Javascript
JavaScript分秒倒计时器实现方法
2015/02/02 Javascript
JavaScript获取网页中第一个图片id的方法
2015/04/03 Javascript
JS代码随机生成姓名、手机号、身份证号、银行卡号
2016/04/27 Javascript
bootstrap+jQuery 实现下拉菜单中复选框全选和全不选效果
2017/06/12 jQuery
浅谈nodejs中的类定义和继承的套路
2017/07/26 NodeJs
JavaScript实现开关等效果
2017/09/08 Javascript
Vue中的slot使用插槽分发内容的方法
2018/03/01 Javascript
浅谈如何使用webpack构建多页面应用
2018/05/30 Javascript
浅谈VUE单页应用首屏加载速度优化方案
2018/08/28 Javascript
Vue的data、computed、watch源码浅谈
2020/04/04 Javascript
[42:25]EG vs Spirit Supermajor 败者组 BO3 第二场 6.4
2018/06/05 DOTA
[01:06:18]DOTA2-DPC中国联赛 正赛 Phoenix vs Dynasty BO3 第二场 1月26日
2021/03/11 DOTA
python用10行代码实现对黄色图片的检测功能
2015/08/10 Python
Python Pandas找到缺失值的位置方法
2018/04/12 Python
python使用tornado实现简单爬虫
2018/07/28 Python
Python创建或生成列表的操作方法
2019/06/19 Python
python 求某条线上特定x值或y值的点坐标方法
2019/07/09 Python
获取Pytorch中间某一层权重或者特征的例子
2019/08/17 Python
python清空命令行方式
2020/01/13 Python
有关pycharm登录github时有的时候会报错connection reset的问题
2020/09/15 Python
微软美国官方网站:Microsoft美国
2018/05/10 全球购物
FILA德国官方网站:来自意大利的体育和街头服饰品牌
2019/07/19 全球购物
社会发展项目建议书
2014/08/25 职场文书
团队执行力培训心得体会
2015/08/15 职场文书
SQL实现LeetCode(175.联合两表)
2021/08/04 MySQL
Django中celery的使用项目实例
2022/07/07 Python