初步解析Python下的多进程编程


Posted in Python onApril 28, 2015

要让Python程序实现多进程(multiprocessing),我们先了解操作系统的相关知识。

Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。

子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID。

Python的os模块封装了常见的系统调用,其中就包括fork,可以在Python程序中轻松创建子进程:

# multiprocessing.py
import os

print 'Process (%s) start...' % os.getpid()
pid = os.fork()
if pid==0:
  print 'I am child process (%s) and my parent is %s.' % (os.getpid(), os.getppid())
else:
  print 'I (%s) just created a child process (%s).' % (os.getpid(), pid)

运行结果如下:

Process (876) start...
I (876) just created a child process (877).
I am child process (877) and my parent is 876.

由于Windows没有fork调用,上面的代码在Windows上无法运行。由于Mac系统是基于BSD(Unix的一种)内核,所以,在Mac下运行是没有问题的,推荐大家用Mac学Python!

有了fork调用,一个进程在接到新任务时就可以复制出一个子进程来处理新任务,常见的Apache服务器就是由父进程监听端口,每当有新的http请求时,就fork出子进程来处理新的http请求。
multiprocessing

如果你打算编写多进程的服务程序,Unix/Linux无疑是正确的选择。由于Windows没有fork调用,难道在Windows上无法用Python编写多进程的程序?

由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:

from multiprocessing import Process
import os

# 子进程要执行的代码
def run_proc(name):
  print 'Run child process %s (%s)...' % (name, os.getpid())

if __name__=='__main__':
  print 'Parent process %s.' % os.getpid()
  p = Process(target=run_proc, args=('test',))
  print 'Process will start.'
  p.start()
  p.join()
  print 'Process end.'

执行结果如下:

Parent process 928.
Process will start.
Run child process test (929)...
Process end.

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动,这样创建进程比fork()还要简单。

join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。
Pool

如果要启动大量的子进程,可以用进程池的方式批量创建子进程:

from multiprocessing import Pool
import os, time, random

def long_time_task(name):
  print 'Run task %s (%s)...' % (name, os.getpid())
  start = time.time()
  time.sleep(random.random() * 3)
  end = time.time()
  print 'Task %s runs %0.2f seconds.' % (name, (end - start))

if __name__=='__main__':
  print 'Parent process %s.' % os.getpid()
  p = Pool()
  for i in range(5):
    p.apply_async(long_time_task, args=(i,))
  print 'Waiting for all subprocesses done...'
  p.close()
  p.join()
  print 'All subprocesses done.'

执行结果如下:

Parent process 669.
Waiting for all subprocesses done...
Run task 0 (671)...
Run task 1 (672)...
Run task 2 (673)...
Run task 3 (674)...
Task 2 runs 0.14 seconds.
Run task 4 (673)...
Task 1 runs 0.27 seconds.
Task 3 runs 0.86 seconds.
Task 0 runs 1.41 seconds.
Task 4 runs 1.91 seconds.
All subprocesses done.

代码解读:

对Pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。

请注意输出的结果,task 0,1,2,3是立刻执行的,而task 4要等待前面某个task完成后才执行,这是因为Pool的默认大小在我的电脑上是4,因此,最多同时执行4个进程。这是Pool有意设计的限制,并不是操作系统的限制。如果改成:

p = Pool(5)

就可以同时跑5个进程。

由于Pool的默认大小是CPU的核数,如果你不幸拥有8核CPU,你要提交至少9个子进程才能看到上面的等待效果。
进程间通信

Process之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式来交换数据。

我们以Queue为例,在父进程中创建两个子进程,一个往Queue里写数据,一个从Queue里读数据:

from multiprocessing import Process, Queue
import os, time, random

# 写数据进程执行的代码:
def write(q):
  for value in ['A', 'B', 'C']:
    print 'Put %s to queue...' % value
    q.put(value)
    time.sleep(random.random())

# 读数据进程执行的代码:
def read(q):
  while True:
    value = q.get(True)
    print 'Get %s from queue.' % value

if __name__=='__main__':
  # 父进程创建Queue,并传给各个子进程:
  q = Queue()
  pw = Process(target=write, args=(q,))
  pr = Process(target=read, args=(q,))
  # 启动子进程pw,写入:
  pw.start()
  # 启动子进程pr,读取:
  pr.start()
  # 等待pw结束:
  pw.join()
  # pr进程里是死循环,无法等待其结束,只能强行终止:
  pr.terminate()

运行结果如下:

Put A to queue...
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.

在Unix/Linux下,multiprocessing模块封装了fork()调用,使我们不需要关注fork()的细节。由于Windows没有fork调用,因此,multiprocessing需要“模拟”出fork的效果,父进程所有Python对象都必须通过pickle序列化再传到子进程去,所有,如果multiprocessing在Windows下调用失败了,要先考虑是不是pickle失败了。
小结

在Unix/Linux下,可以使用fork()调用实现多进程。

要实现跨平台的多进程,可以使用multiprocessing模块。

进程间通信是通过Queue、Pipes等实现的。

Python 相关文章推荐
easy_install python包安装管理工具介绍
Feb 10 Python
Python实现的矩阵类实例
Aug 22 Python
Python面向对象编程基础解析(二)
Oct 26 Python
TensorFlow 模型载入方法汇总(小结)
Jun 19 Python
windows下numpy下载与安装图文教程
Apr 02 Python
python中利用numpy.array()实现俩个数值列表的对应相加方法
Aug 26 Python
解决Python对齐文本字符串问题
Aug 28 Python
Pycharm使用远程linux服务器conda/python环境在本地运行的方法(图解))
Dec 09 Python
基于TensorFlow常量、序列以及随机值生成实例
Jan 04 Python
pycharm 设置项目的根目录教程
Feb 12 Python
一文了解python 3 字符串格式化 F-string 用法
Mar 04 Python
python ETL工具 pyetl
Jun 07 Python
python实现将pvr格式转换成pvr.ccz的方法
Apr 28 #Python
简单介绍Python中的JSON使用
Apr 28 #Python
浅析Python中的序列化存储的方法
Apr 28 #Python
详解在Python和IPython中使用Docker
Apr 28 #Python
在Python程序中进行文件读取和写入操作的教程
Apr 28 #Python
介绍Python中的文档测试模块
Apr 28 #Python
Django中几种重定向方法
Apr 28 #Python
You might like
PHP扩展编写点滴 技巧收集
2010/03/09 PHP
php生成静态文件的多种方法分享
2012/07/17 PHP
jQuery 在光标定位的地方插入文字的插件
2012/05/10 Javascript
JavaScript中判断对象类型的几种方法总结
2013/11/11 Javascript
原生JS操作网页给p元素添加onclick事件及表格隔行变色
2013/12/01 Javascript
JavaScript学习笔记之Function对象
2015/01/22 Javascript
JavaScript程序中实现继承特性的方式总结
2016/06/24 Javascript
React Router基础使用
2017/01/17 Javascript
深入学习nodejs中的async模块的使用方法
2017/07/12 NodeJs
angularjs实现猜大小功能
2017/10/23 Javascript
利用原生js实现html5小游戏之打砖块(附源码)
2018/01/03 Javascript
记录vue项目中遇到的一点小问题
2019/05/14 Javascript
es6中使用map简化复杂条件判断操作实例详解
2020/02/19 Javascript
微信小程序多列表渲染数据开关互不影响的实现
2020/06/05 Javascript
[01:11:37]完美世界DOTA2联赛PWL S2 SZ vs FTD.C 第一场 11.19
2020/11/19 DOTA
用python删除java文件头上版权信息的方法
2014/07/31 Python
跟老齐学Python之开始真正编程
2014/09/12 Python
python使用wxPython打开并播放wav文件的方法
2015/04/24 Python
python中实现迭代器(iterator)的方法示例
2017/01/19 Python
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
2017/03/12 Python
python自动发微信监控报警
2019/09/06 Python
python实现滑雪游戏
2020/02/22 Python
Python+PyQt5实现灭霸响指功能
2020/05/25 Python
Python基于字典实现switch case函数调用
2020/07/22 Python
如何在vscode中安装python库的方法步骤
2021/01/06 Python
html5 svg 中元素点击事件添加方法
2013/01/16 HTML / CSS
澳大利亚顶级美发和美容贸易超市:glamaCo
2020/01/19 全球购物
德国家具、照明、家居用品网上商店:Wayfair.de
2020/02/13 全球购物
意大利领先的奢侈品在线时装零售商:MCLABELS
2020/10/13 全球购物
给医务人员表扬信
2014/01/12 职场文书
银行职员个人的工作自我评价
2014/02/15 职场文书
爱情寄语大全
2014/04/09 职场文书
员工生日会策划方案
2014/06/14 职场文书
Pytorch 实现变量类型转换
2021/05/17 Python
MySQL千万级数据表的优化实战记录
2021/08/04 MySQL
springcloud整合seata
2022/05/20 Java/Android