python并发编程 Process对象的其他属性方法join方法详解


Posted in Python onAugust 20, 2019

一 Process对象的join方法

在主进程运行过程中如果想并发地执行其他的任务,我们可以开启子进程,此时主进程的任务与子进程的任务分两种情况

情况一:

在主进程的任务与子进程的任务彼此独立的情况下,主进程的任务先执行完毕后,主进程还需要等待子进程执行完毕,然后统一回收资源。 这种是没有join方法

情况二:

如果主进程的任务在执行到某一个阶段时,需要等待子进程执行完毕后才能继续执行,

就需要有一种机制能够让主进程检测子进程是否运行完毕,在子进程执行完毕后才继续执行,否则一直在原地阻塞,这就是join方法的作用

让主进程等着,所有子进程执行完毕后,主进程才继续执行

from multiprocessing import Process
import time
import os
def task():
  print("%s is running,parent id is <%s>" % (os.getpid(), os.getppid()))
  time.sleep(3)
  print("%s is done,parent id is <%s>" % (os.getpid(), os.getppid()))
if __name__ == "__main__":
  t = Process(target=task, )
  t.start()
  t.join()
  # 主进程 等子进程执行完了
  print("主", os.getpid(), os.getppid())
'''
is running,parent id is <25956>
is done,parent id is <25956>
主 25956 2992
'''

子进程运行完,最后打印主进程,主进程结束了 所有僵尸进程都会回收

开启多个字进程 向操作系统发送信号,但操作系统要处理的任务太多了,先开启 哪个子进程是随机的,有时候可能先开启主进程先,

操作系统什么时候开,开多长时间,我们是不知道的

from multiprocessing import Process
import time
import os
def task(name):
  print('%s is running' %name)
  time.sleep(2)
  print('%s is end' %name)
if __name__ == '__main__':
  p1 = Process(target=task, args=('子进程1',))
  p2 = Process(target=task, args=('子进程2',))
  p3 = Process(target=task, args=('子进程3',))
  p4 = Process(target=task, args=('子进程4',))
  p1.start()
  p2.start()
  p3.start()
  p4.start()
  print('主',os.getpid(),os.getppid())
'''
子进程1 is running
子进程2 is running
主 9268 5236
子进程3 is running
子进程4 is running
子进程1 is end
子进程2 is end
子进程3 is end
子进程4 is end

'''

也有可能这样,先开启主进程,

主 9556 5236
子进程1 is running
子进程3 is running
子进程2 is running
子进程4 is running
子进程1 is end
子进程3 is end
子进程2 is end
子进程4 is end

p.start() 只是给操作系统发送信号

join 会变串行?

既然join是等待进程结束, 那么我像下面这样写, 进程不就又变成串行的了吗?
当然不是了, 必须明确:p.join()是让谁等?
很明显p.join()是让主线程等待p 子进程的结束,卡住的是主进程而绝非 子进程p,

from multiprocessing import Process
import time
import os
def task(name):
  print('%s is running' %(name))
  time.sleep(2)
  print('%s is end' %(name))
if __name__ == '__main__':
  p1 = Process(target=task, args=('子进程1',))
  p2 = Process(target=task, args=('子进程2',))
  p3 = Process(target=task, args=('子进程3',))
  p4 = Process(target=task, args=('子进程4',))
  p1.start()
  p2.start()
  p3.start()
  p4.start()
  p1.join()
  p2.join()
  p3.join()
  p4.join()
  print('主',os.getpid(),os.getppid())

详细解析如下:

进程只要start就会在开始运行了,所以p1-p4.start()时,系统中已经有四个并发的进程了

而我们p1.join()是在等p1结束,没错p1只要不结束主线程就会一直卡在原地,这也是问题的关键

join是让主线程等,而p1-p4仍然是并发执行的,p1.join的时候,其余p2,p3,p4仍然在运行,等#p1.join结束,可能p2,p3,p4早已经结束了,这样p2.join,p3.join.p4.join直接通过检测,无需等待

所以4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间

所以不会是串行执行,是并发执行

4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间

所以就是5秒,就是子进程1 那个等待的时间

from multiprocessing import Process
import time
import os
def task(name,n):
  print('%s is running' %(name))
  time.sleep(n)
  print('%s is end' %(name))
if __name__ == '__main__':
  start = time.time()
  p1 = Process(target=task, args=('子进程1',5))
  p2 = Process(target=task, args=('子进程2',2))
  p3 = Process(target=task, args=('子进程3',2))
  p4 = Process(target=task, args=('子进程4',2))
  p1.start()
  p2.start()
  p3.start()
  p4.start()
  p1.join()
  p2.join()
  p3.join()
  p4.join()
  print('主',time.time() - start)
'''
子进程1 is running
子进程2 is running
子进程3 is running
子进程4 is running
子进程2 is end
子进程3 is end
子进程4 is end
子进程1 is end
主 5.413309812545776
'''

这种方式就是串行

等子进程1执行时候,子进程2就没有发送信号,要等子进程1 执行完,再子进程2发送信号 ,开启子进程2再执行,按照这样的顺序

from multiprocessing import Process
import time
import os
def task(name,n):
  print('%s is running' %(name))
  time.sleep(n)
  print('%s is end' %(name))
if __name__ == '__main__':
  start = time.time()
  p1 = Process(target=task, args=('子进程1',5))
  p2 = Process(target=task, args=('子进程2',2))
  p3 = Process(target=task, args=('子进程3',2))
  p4 = Process(target=task, args=('子进程4',2))
  p1.start()
  p1.join()
  p2.start()
  p2.join()
  p3.start()
  p3.join()  
  p4.start()
  p4.join()
  print('主',time.time() - start)
'''
子进程1 is running
子进程1 is end
子进程2 is running
子进程2 is end
子进程3 is running
子进程3 is end
子进程4 is running
子进程4 is end
主 12.212698698043823

'''

上述启动进程与 join进程 可以简写为以下

from multiprocessing import Process
import time
import os
def task(name,n):
  print('%s is running' %(name))
  time.sleep(n)
  print('%s is end' %(name))
if __name__ == '__main__':
  start = time.time()
  p1 = Process(target=task, args=('子进程1',5))
  p2 = Process(target=task, args=('子进程2',2))
  p3 = Process(target=task, args=('子进程3',2))
  p4 = Process(target=task, args=('子进程4',2))
  process_list = [p1,p2,p3,p4]
  for p in process_list:
    p.start()
  for p in process_list:
    p.join()
  print('主',time.time() - start)

join 保证所有子进程执行完 主进程才能工作,不然一直阻塞

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python变量作用范围实例分析
Jul 07 Python
使用Python编写简单的端口扫描器的实例分享
Dec 18 Python
谈谈如何手动释放Python的内存
Dec 17 Python
Python中字符串格式化str.format的详细介绍
Feb 17 Python
python Pygame的具体使用讲解
Nov 03 Python
Python数据分析之双色球中蓝红球分析统计示例
Feb 03 Python
解决Python3 被PHP程序调用执行返回乱码的问题
Feb 16 Python
对django2.0 关联表的必填on_delete参数的含义解析
Aug 09 Python
python scatter函数用法实例详解
Feb 11 Python
python的列表List求均值和中位数实例
Mar 03 Python
Python根据指定文件生成XML的方法
Jun 29 Python
PyCharm 解决找不到新打开项目的窗口问题
Jan 15 Python
浅谈pytorch grad_fn以及权重梯度不更新的问题
Aug 20 #Python
解决Pytorch 训练与测试时爆显存(out of memory)的问题
Aug 20 #Python
python中用logging实现日志滚动和过期日志删除功能
Aug 20 #Python
python3中替换python2中cmp函数的实现
Aug 20 #Python
python 并发编程 多路复用IO模型详解
Aug 20 #Python
关于pytorch中网络loss传播和参数更新的理解
Aug 20 #Python
对pytorch中的梯度更新方法详解
Aug 20 #Python
You might like
可定制的PHP缩略图生成程式(需要GD库支持)
2007/03/06 PHP
Yii2中设置与获取别名的函数(setAlias和getAlias)用法分析
2016/07/25 PHP
PHP如何实现订单的延时处理详解
2017/12/30 PHP
PHP PDOStatement::rowCount讲解
2019/02/01 PHP
javascript小数计算出现近似值的解决办法
2010/02/06 Javascript
个人总结的一些JavaScript技巧、实用函数、简洁方法、编程细节
2015/06/10 Javascript
this,this,再次讨论javascript中的this,超全面(经典)
2016/01/05 Javascript
JS不用正则验证输入的字符串是否为空(包含空格)的实现代码
2016/06/14 Javascript
浅谈js中的引用和复制(传值和传址)
2016/09/18 Javascript
connection reset by peer问题总结及解决方案
2016/10/21 Javascript
JavaScript中document.referrer的用法详解
2017/07/04 Javascript
如何抽象一个Vue公共组件
2017/10/17 Javascript
基于vue-cli配置lib-flexible + rem实现移动端自适应
2017/12/26 Javascript
详解ES6通过WeakMap解决内存泄漏问题
2018/03/09 Javascript
vue和webpack打包项目相对路径修改的方法
2018/06/15 Javascript
Vue-cli项目部署到Nginx服务器的方法
2019/11/01 Javascript
jQuery实现鼠标滑动切换图片
2020/05/27 jQuery
vue实现图片按比例缩放问题操作
2020/08/11 Javascript
Python中几种操作字符串的方法的介绍
2015/04/09 Python
查看Python安装路径以及安装包路径小技巧
2015/04/28 Python
各种Python库安装包下载地址与安装过程详细介绍(Windows版)
2016/11/02 Python
Python搭建FTP服务器的方法示例
2018/01/19 Python
Python实现在某个数组中查找一个值的算法示例
2018/06/27 Python
如何在python字符串中输入纯粹的{}
2018/08/22 Python
将tensorflow.Variable中的某些元素取出组成一个新的矩阵示例
2020/01/04 Python
使用phonegap创建联系人的实现方法
2017/03/30 HTML / CSS
美国玩具公司:U.S.Toy
2018/05/19 全球购物
美国名牌手表折扣网站:Jomashop
2020/05/22 全球购物
恒华伟业笔试面试题
2015/02/26 面试题
销售冠军获奖感言
2014/02/03 职场文书
社区工作感言
2014/02/21 职场文书
余世维讲座观后感
2015/06/11 职场文书
2015年计算机教师工作总结
2015/07/22 职场文书
感恩教师主题班会
2015/08/12 职场文书
python中取整数的几种方法
2021/11/07 Python
CSS元素定位之通过元素的标签或者元素的id、class属性定位详解
2022/09/23 HTML / CSS