Python多进程编程技术实例分析


Posted in Python onSeptember 16, 2014

本文以实例形式分析了Python多进程编程技术,有助于进一步Python程序设计技巧。分享给大家供大家参考。具体分析如下:

一般来说,由于Python的线程有些限制,例如多线程不能充分利用多核CPU等问题,因此在Python中我们更倾向使用多进程。但在做不阻塞的异步UI等场景,我们也会使用多线程。本篇文章主要探讨Python多进程的问题。

Python在2.6引入了多进程的机制,并提供了丰富的组件及api以方便编写并发应用。multiprocessing包的组件Process, Queue, Pipe, Lock等组件提供了与多线程类似的功能。使用这些组件,可以方便地编写多进程并发程序。

Process

Process的使用有点像java.lang.Thread,但Thread是线程。start方法用以启动某个进程。一个简单的示例:

from multiprocessing import Process
import os
import time
def sleeper(name, seconds):
  print "Process ID# %s" % (os.getpid())
  print "Parent Process ID# %s" % (os.getppid())
  print "%s will sleep for %s seconds" % (name, seconds)
  time.sleep(seconds)

if __name__ == "__main__":
  child_proc = Process(target=sleeper, args=('bob', 5))
  child_proc.start()
  print "in parent process after child process start"
  print "parent process abount to join child process"
  child_proc.join()
  print "in parent process after child process join"
  print "the parent's parent process: %s" % (os.getppid())

实例化一个Process必须要指定target和args。target是新的进程的入口方法,可以认为是main方法。args是该方法的参数列表。启动进程类似于启动Thread,必须要调用start方法。也可以继承Process,覆盖run方法,在run方法中实现该进程的逻辑。调用join方法会阻塞当前调用进程,直到被调用进程运行结束。
手工终止一个进程可以调用terminate方法,在UNIX系统中,该方法会发送SIGTERM信号量,而在windows系统中,会借助TerminateProcess方法。需要注意的是,exit处理逻辑并不会被执行,该进程的子进程不会被终止,他们只会变成孤儿进程。

Queue

Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递。put方法用以插入数据到队列中,put方法还有两个可选参数:blocked和timeout。如果blocked为True(默认值),并且timeout为正值,该方法会阻塞timeout指定的时间,直到该队列有剩余的空间。如果超时,会抛出Queue.Full异常。如果blocked为False,但该Queue已满,会立即抛出Queue.Full异常。

get方法可以从队列读取并且删除一个元素。同样,get方法有两个可选参数:blocked和timeout。如果blocked为True(默认值),并且timeout为正值,那么在等待时间内没有取到任何元素,会抛出Queue.Empty异常。如果blocked为False,有两种情况存在,如果Queue有一个值可用,则立即返回该值,否则,如果队列为空,则立即抛出Queue.Empty异常。Queue的一段示例代码:

from multiprocessing import Process, Queue
def offer(queue):
  queue.put("Hello World")
def test(queue, num):
  queue.put("Hello World: " + str(num))
if __name__ == '__main__':
  q = Queue()
  p1 = Process(target=test, args=(q, 1))
  p1.start()
  p = Process(target=offer, args=(q,))
  p.start()
  p2 = Process(target=test, args=(q, 2))
  p2.start()
  p2 = Process(target=test, args=(q, 3))
  p2.start()
  print q.get()
  print q.get()
  print q.get()
  print q.get()
  print q.close()

输出:

Hello World: 1
Hello World
Hello World: 2
None

Pipes

Pipe方法返回(conn1, conn2)代表一个管道的两个端。Pipe方法有duplex参数,如果duplex参数为True(默认值),那么这个管道是全双工模式,也就是说conn1和conn2均可收发。duplex为False,conn1只负责接受消息,conn2只负责发送消息。

send和recv方法分别是发送和接受消息的方法。例如,在全双工模式下,可以调用conn1.send发送消息,conn1.recv接收消息。如果没有消息可接收,recv方法会一直阻塞。如果管道已经被关闭,那么recv方法会抛出EOFError。

from multiprocessing import Process, Pipe

def send(conn):
  conn.send("Hello World")
  conn.close()
if __name__ == '__main__':
  parent_conn, child_conn = Pipe()
  p = Process(target=send, args=(child_conn,))
  p.start()
  print parent_conn.recv()

同步

multiprocessing包提供了Condition, Event, Lock, RLock, Semaphore等组件可用于同步。下面是使用Lock的一个示例:

from multiprocessing import Process, Lock
def l(lock, num):
  lock.acquire() 
  print "Hello Num: %s" % (num)
  lock.release()
if __name__ == '__main__':
  lock = Lock()
for num in range(20):
  Process(target=l, args=(lock, num)).start()

总结

以上是Python multiprocessing库的简单介绍和实例,熟悉Java多线程开发的同学是不是觉得很熟悉,和java的Concurrency API很像,不过javaConcurrency是处理多线程的而已,我们可以直接按照以前Java多线程的经验用这些API。

感兴趣的朋友可以测试运行本文实例以加深理解。相信本文所述对大家Python程序设计的学习有一定的借鉴价值。

Python 相关文章推荐
用Python编写一个国际象棋AI程序
Nov 28 Python
Python入门教程之if语句的用法
May 14 Python
Python多进程multiprocessing用法实例分析
Aug 18 Python
浅谈numpy生成数组的零值问题
Nov 12 Python
深入浅析python3中的unicode和bytes问题
Jul 03 Python
python处理自动化任务之同时批量修改word里面的内容的方法
Aug 23 Python
Python帮你识破双11的套路
Nov 11 Python
Spring实战之使用util:命名空间简化配置操作示例
Dec 09 Python
Python实现非正太分布的异常值检测方式
Dec 09 Python
Idea安装python显示无SDK问题解决方案
Aug 12 Python
Python通过队列来实现进程间通信的示例
Oct 14 Python
python关于集合的知识案例详解
May 30 Python
Python专用方法与迭代机制实例分析
Sep 15 #Python
跟老齐学Python之有容乃大的list(3)
Sep 15 #Python
跟老齐学Python之有容乃大的list(2)
Sep 15 #Python
跟老齐学Python之有容乃大的list(1)
Sep 14 #Python
跟老齐学Python之一个免费的实验室
Sep 14 #Python
跟老齐学Python之从if开始语句的征程
Sep 14 #Python
跟老齐学Python之眼花缭乱的运算符
Sep 14 #Python
You might like
浅谈Eclipse PDT调试PHP程序
2014/06/09 PHP
ThinkPHP中自定义目录结构的设置方法
2014/08/15 PHP
强大的jquery插件jqeuryUI做网页对话框效果!简单
2011/04/14 Javascript
基于jquery的代码显示区域自动拉长效果
2011/12/07 Javascript
js 本地预览的简单实现方法
2014/02/18 Javascript
详解jQuery中的deferred对象的使用(一)
2016/05/27 Javascript
jQuery插件实现图片轮播特效
2016/06/16 Javascript
浅谈jQuery添加的HTML,JS失效的问题
2016/10/05 Javascript
代码详解javascript模块加载器
2018/03/04 Javascript
Vue-Cli 3.0 中配置高德地图的两种方式
2019/06/19 Javascript
详解Vue中组件传值的多重实现方式
2019/08/16 Javascript
jQuery实现可编辑的表格
2019/12/11 jQuery
详解Webpack4多页应用打包方案
2020/07/16 Javascript
[02:17]DOTA2亚洲邀请赛 RAVE战队出场宣传片
2015/02/07 DOTA
树莓派中python获取GY-85九轴模块信息示例
2013/12/05 Python
Python通过poll实现异步IO的方法
2015/06/04 Python
浅谈Python中用datetime包进行对时间的一些操作
2016/06/23 Python
Python装饰器用法示例小结
2018/02/11 Python
Python异常的检测和处理方法
2018/10/26 Python
python实现求特征选择的信息增益
2018/12/18 Python
python3.5 cv2 获取视频特定帧生成jpg图片
2019/08/28 Python
基于spring boot 日志(logback)报错的解决方式
2020/02/20 Python
django中ImageField的使用详解
2020/12/21 Python
使用before和:after伪类制作css3圆形按钮
2014/04/08 HTML / CSS
缅甸网上购物:Shop.com.mm
2017/12/05 全球购物
求网格中的黑点分布
2013/11/06 面试题
中秋节主持词
2014/04/02 职场文书
青春无悔演讲稿
2014/05/08 职场文书
2016先进工作者事迹材料
2016/02/25 职场文书
PHP中strval()函数实例用法
2021/06/07 PHP
MySQL 那些常见的错误设计规范,你都知道吗
2021/07/16 MySQL
vue整合百度地图显示指定地点信息
2022/04/06 Vue.js
Python图像处理库PIL详细使用说明
2022/04/06 Python
微信小程序APP页面的之间的相互传递参数以及自定义组件
2022/04/19 Javascript
Mysql 文件配置解析介绍
2022/05/06 MySQL
错误码NET::ERR_CERT_DATE_INVALID证书已过期解决方法?
2022/07/07 数码科技