Python标准库之多进程(multiprocessing包)介绍


Posted in Python onNovember 25, 2014

在初步了解Python多进程之后,我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。

进程池

进程池 (Process Pool)可以创建多个进程。这些进程就像是随时待命的士兵,准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵。

Python标准库之多进程(multiprocessing包)介绍

“三个进程的进程池”

比如下面的程序:

import multiprocessing as mul

def f(x):

    return x**2

pool = mul.Pool(5)

rel  = pool.map(f,[1,2,3,4,5,6,7,8,9,10])

print(rel)

我们创建了一个容许5个进程的进程池 (Process Pool) 。Pool运行的每个进程都执行f()函数。我们利用map()方法,将f()函数作用到表的每个元素上。这与built-in的map()函数类似,只是这里用5个进程并行处理。如果进程运行结束后,还有需要处理的元素,那么的进程会被用于重新运行f()函数。除了map()方法外,Pool还有下面的常用方法。

apply_async(func,args)  从进程池中取出一个进程执行func,args为func的参数。它将返回一个AsyncResult的对象,你可以对该对象调用get()方法以获得结果。

close()  进程池不再创建新的进程

join()   wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

练习

有下面一个文件download.txt。

www.sina.com.cn

www.163.com

www.iciba.com

www.cnblogs.com

www.qq.com

www.douban.com

使用包含3个进程的进程池下载文件中网站的首页。(你可以使用subprocess调用wget或者curl等下载工具执行具体的下载任务)

共享资源

我们在Python多进程初步已经提到,我们应该尽量避免多进程共享资源。多进程共享资源必然会带来进程间相互竞争。而这种竞争又会造成race condition,我们的结果有可能被竞争的不确定性所影响。但如果需要,我们依然可以通过共享内存和Manager对象这么做。

Python标准库之多进程(multiprocessing包)介绍

共享“资源”

共享内存

在Linux进程间通信中,我们已经讲述了共享内存(shared memory)的原理,这里给出用Python实现的例子:

# modified from official documentation

import multiprocessing

def f(n, a):

    n.value   = 3.14

    a[0]      = 5

num   = multiprocessing.Value('d', 0.0)

arr   = multiprocessing.Array('i', range(10))

p = multiprocessing.Process(target=f, args=(num, arr))

p.start()

p.join()

print num.value

print arr[:]

这里我们实际上只有主进程和Process对象代表的进程。我们在主进程的内存空间中创建共享的内存,也就是Value和Array两个对象。对象Value被设置成为双精度数(d), 并初始化为0.0。而Array则类似于C中的数组,有固定的类型(i, 也就是整数)。在Process进程中,我们修改了Value和Array对象。回到主程序,打印出结果,主程序也看到了两个对象的改变,说明资源确实在两个进程之间共享。

Manager

Manager对象类似于服务器与客户之间的通信 (server-client),与我们在Internet上的活动很类似。我们用一个进程作为服务器,建立Manager来真正存放资源。其它的进程可以通过参数传递或者根据地址来访问Manager,建立连接后,操作服务器上的资源。在防火墙允许的情况下,我们完全可以将Manager运用于多计算机,从而模仿了一个真实的网络情境。下面的例子中,我们对Manager的使用类似于shared memory,但可以共享更丰富的对象类型。

import multiprocessing

def f(x, arr, l):

    x.value = 3.14

    arr[0] = 5

    l.append('Hello')

server = multiprocessing.Manager()

x    = server.Value('d', 0.0)

arr  = server.Array('i', range(10))

l    = server.list()

proc = multiprocessing.Process(target=f, args=(x, arr, l))

proc.start()

proc.join()

print(x.value)

print(arr)

print(l)

Manager利用list()方法提供了表的共享方式。实际上你可以利用dict()来共享词典,Lock()来共享threading.Lock(注意,我们共享的是threading.Lock,而不是进程的mutiprocessing.Lock。后者本身已经实现了进程共享)等。 这样Manager就允许我们共享更多样的对象。

我们在这里不深入讲解Manager在远程情况下的应用。有机会的话,会在网络应用中进一步探索。

总结

Pool
Shared memory, Manager

Python 相关文章推荐
Python和php通信乱码问题解决方法
Apr 15 Python
Python学习笔记之常用函数及说明
May 23 Python
windows下wxPython开发环境安装与配置方法
Jun 28 Python
编写自定义的Django模板加载器的简单示例
Jul 21 Python
Python编程之event对象的用法实例分析
Mar 23 Python
Django自定义分页效果
Jun 27 Python
python 提取key 为中文的json 串方法
Dec 31 Python
Python List cmp()知识点总结
Feb 18 Python
如何通过Python实现标签云算法
Jul 02 Python
python-opencv获取二值图像轮廓及中心点坐标的代码
Aug 27 Python
关于numpy中eye和identity的区别详解
Nov 29 Python
Python @property原理解析和用法实例
Feb 11 Python
Python标准库之随机数 (math包、random包)介绍
Nov 25 #Python
Python标准库之循环器(itertools)介绍
Nov 25 #Python
Python标准库之sqlite3使用实例
Nov 25 #Python
Python标准库内置函数complex介绍
Nov 25 #Python
Python XML RPC服务器端和客户端实例
Nov 22 #Python
Python实现读取目录所有文件的文件名并保存到txt文件代码
Nov 22 #Python
python进程类subprocess的一些操作方法例子
Nov 22 #Python
You might like
php的计数器程序
2006/10/09 PHP
php内核解析:PHP中的哈希表
2014/01/30 PHP
PHP采集类snoopy详细介绍(snoopy使用教程)
2014/06/19 PHP
简单谈谈php中ob_flush和flush的区别
2014/11/27 PHP
PHP的Yii框架的基本使用示例
2015/08/21 PHP
PHP实现普通hash分布式算法简单示例
2018/08/06 PHP
laravel实现简单用户权限的示例代码
2019/05/28 PHP
解决laravel上传图片之后,目录有图片,但是访问不到(404)的问题
2019/10/14 PHP
js 分页全选或反选标识实现代码
2011/08/09 Javascript
jQuery AjaxQueue改进步骤
2011/10/06 Javascript
js数字转换为float,取N位小数
2014/02/08 Javascript
一个获取第n个元素节点的js函数
2014/09/02 Javascript
javascript性能优化之事件委托实例详解
2015/12/12 Javascript
详解Bootstrap四种图片样式
2016/01/04 Javascript
JS模拟简易滚动条效果代码(附demo源码)
2016/04/05 Javascript
使用vue.js开发时一些注意事项
2016/04/27 Javascript
jquery 无限极下拉菜单的简单实例(精简浓缩版)
2016/05/31 Javascript
Mobile Web开发基础之四--处理手机设备的横竖屏问题
2017/08/11 Javascript
js时间戳与日期格式之间相互转换
2017/12/11 Javascript
微信小程序基础教程之worker线程的使用方法
2019/07/15 Javascript
JS数组降维的实现Array.prototype.concat.apply([], arr)
2020/04/28 Javascript
Javascript执行流程细节原理解析
2020/05/14 Javascript
VUE 单页面使用 echart 窗口变化时的用法
2020/07/30 Javascript
bootstrap-closable-tab可实现关闭的tab标签页插件
2020/08/09 Javascript
一分钟学会JavaScript中的try-catch
2020/12/14 Javascript
js实现鼠标切换图片(无定时器)
2021/01/27 Javascript
Python封装shell命令实例分析
2015/05/05 Python
python中文编码与json中文输出问题详解
2018/08/24 Python
python中如何打包用户自定义模块
2020/09/23 Python
Python之京东商品秒杀的实现示例
2021/01/06 Python
HTML 5 input placeholder 属性如何完美兼任ie
2014/05/12 HTML / CSS
小学师德师风整改措施
2014/10/27 职场文书
pyqt5打包成exe可执行文件的方法
2021/05/14 Python
Mysql使用全文索引(FullText index)的实例代码
2022/04/03 MySQL
《群青的幻想曲》京力秋树角色PV公开
2022/04/08 日漫
JAVA springCloud项目搭建流程
2022/05/11 Java/Android