python并发编程 Process对象的其他属性方法join方法详解


Posted in Python onAugust 20, 2019

一 Process对象的join方法

在主进程运行过程中如果想并发地执行其他的任务,我们可以开启子进程,此时主进程的任务与子进程的任务分两种情况

情况一:

在主进程的任务与子进程的任务彼此独立的情况下,主进程的任务先执行完毕后,主进程还需要等待子进程执行完毕,然后统一回收资源。 这种是没有join方法

情况二:

如果主进程的任务在执行到某一个阶段时,需要等待子进程执行完毕后才能继续执行,

就需要有一种机制能够让主进程检测子进程是否运行完毕,在子进程执行完毕后才继续执行,否则一直在原地阻塞,这就是join方法的作用

让主进程等着,所有子进程执行完毕后,主进程才继续执行

from multiprocessing import Process
import time
import os
def task():
  print("%s is running,parent id is <%s>" % (os.getpid(), os.getppid()))
  time.sleep(3)
  print("%s is done,parent id is <%s>" % (os.getpid(), os.getppid()))
if __name__ == "__main__":
  t = Process(target=task, )
  t.start()
  t.join()
  # 主进程 等子进程执行完了
  print("主", os.getpid(), os.getppid())
'''
is running,parent id is <25956>
is done,parent id is <25956>
主 25956 2992
'''

子进程运行完,最后打印主进程,主进程结束了 所有僵尸进程都会回收

开启多个字进程 向操作系统发送信号,但操作系统要处理的任务太多了,先开启 哪个子进程是随机的,有时候可能先开启主进程先,

操作系统什么时候开,开多长时间,我们是不知道的

from multiprocessing import Process
import time
import os
def task(name):
  print('%s is running' %name)
  time.sleep(2)
  print('%s is end' %name)
if __name__ == '__main__':
  p1 = Process(target=task, args=('子进程1',))
  p2 = Process(target=task, args=('子进程2',))
  p3 = Process(target=task, args=('子进程3',))
  p4 = Process(target=task, args=('子进程4',))
  p1.start()
  p2.start()
  p3.start()
  p4.start()
  print('主',os.getpid(),os.getppid())
'''
子进程1 is running
子进程2 is running
主 9268 5236
子进程3 is running
子进程4 is running
子进程1 is end
子进程2 is end
子进程3 is end
子进程4 is end

'''

也有可能这样,先开启主进程,

主 9556 5236
子进程1 is running
子进程3 is running
子进程2 is running
子进程4 is running
子进程1 is end
子进程3 is end
子进程2 is end
子进程4 is end

p.start() 只是给操作系统发送信号

join 会变串行?

既然join是等待进程结束, 那么我像下面这样写, 进程不就又变成串行的了吗?
当然不是了, 必须明确:p.join()是让谁等?
很明显p.join()是让主线程等待p 子进程的结束,卡住的是主进程而绝非 子进程p,

from multiprocessing import Process
import time
import os
def task(name):
  print('%s is running' %(name))
  time.sleep(2)
  print('%s is end' %(name))
if __name__ == '__main__':
  p1 = Process(target=task, args=('子进程1',))
  p2 = Process(target=task, args=('子进程2',))
  p3 = Process(target=task, args=('子进程3',))
  p4 = Process(target=task, args=('子进程4',))
  p1.start()
  p2.start()
  p3.start()
  p4.start()
  p1.join()
  p2.join()
  p3.join()
  p4.join()
  print('主',os.getpid(),os.getppid())

详细解析如下:

进程只要start就会在开始运行了,所以p1-p4.start()时,系统中已经有四个并发的进程了

而我们p1.join()是在等p1结束,没错p1只要不结束主线程就会一直卡在原地,这也是问题的关键

join是让主线程等,而p1-p4仍然是并发执行的,p1.join的时候,其余p2,p3,p4仍然在运行,等#p1.join结束,可能p2,p3,p4早已经结束了,这样p2.join,p3.join.p4.join直接通过检测,无需等待

所以4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间

所以不会是串行执行,是并发执行

4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间

所以就是5秒,就是子进程1 那个等待的时间

from multiprocessing import Process
import time
import os
def task(name,n):
  print('%s is running' %(name))
  time.sleep(n)
  print('%s is end' %(name))
if __name__ == '__main__':
  start = time.time()
  p1 = Process(target=task, args=('子进程1',5))
  p2 = Process(target=task, args=('子进程2',2))
  p3 = Process(target=task, args=('子进程3',2))
  p4 = Process(target=task, args=('子进程4',2))
  p1.start()
  p2.start()
  p3.start()
  p4.start()
  p1.join()
  p2.join()
  p3.join()
  p4.join()
  print('主',time.time() - start)
'''
子进程1 is running
子进程2 is running
子进程3 is running
子进程4 is running
子进程2 is end
子进程3 is end
子进程4 is end
子进程1 is end
主 5.413309812545776
'''

这种方式就是串行

等子进程1执行时候,子进程2就没有发送信号,要等子进程1 执行完,再子进程2发送信号 ,开启子进程2再执行,按照这样的顺序

from multiprocessing import Process
import time
import os
def task(name,n):
  print('%s is running' %(name))
  time.sleep(n)
  print('%s is end' %(name))
if __name__ == '__main__':
  start = time.time()
  p1 = Process(target=task, args=('子进程1',5))
  p2 = Process(target=task, args=('子进程2',2))
  p3 = Process(target=task, args=('子进程3',2))
  p4 = Process(target=task, args=('子进程4',2))
  p1.start()
  p1.join()
  p2.start()
  p2.join()
  p3.start()
  p3.join()  
  p4.start()
  p4.join()
  print('主',time.time() - start)
'''
子进程1 is running
子进程1 is end
子进程2 is running
子进程2 is end
子进程3 is running
子进程3 is end
子进程4 is running
子进程4 is end
主 12.212698698043823

'''

上述启动进程与 join进程 可以简写为以下

from multiprocessing import Process
import time
import os
def task(name,n):
  print('%s is running' %(name))
  time.sleep(n)
  print('%s is end' %(name))
if __name__ == '__main__':
  start = time.time()
  p1 = Process(target=task, args=('子进程1',5))
  p2 = Process(target=task, args=('子进程2',2))
  p3 = Process(target=task, args=('子进程3',2))
  p4 = Process(target=task, args=('子进程4',2))
  process_list = [p1,p2,p3,p4]
  for p in process_list:
    p.start()
  for p in process_list:
    p.join()
  print('主',time.time() - start)

join 保证所有子进程执行完 主进程才能工作,不然一直阻塞

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中将阿拉伯数字转换成中文的实现代码
May 19 Python
Python实现快速多线程ping的方法
Jul 15 Python
Python实现简单拆分PDF文件的方法
Jul 30 Python
Python编程中对文件和存储器的读写示例
Jan 25 Python
python 实现一个贴吧图片爬虫的示例
Oct 12 Python
python机器学习库常用汇总
Nov 15 Python
Python基于递归算法实现的汉诺塔与Fibonacci数列示例
Apr 18 Python
Python mutiprocessing多线程池pool操作示例
Jan 30 Python
手写一个python迭代器过程详解
Aug 27 Python
Python numpy数组转置与轴变换
Nov 15 Python
Python二维数组实现求出3*3矩阵对角线元素的和示例
Nov 29 Python
Django使用Celery加redis执行异步任务的实例内容
Feb 20 Python
浅谈pytorch grad_fn以及权重梯度不更新的问题
Aug 20 #Python
解决Pytorch 训练与测试时爆显存(out of memory)的问题
Aug 20 #Python
python中用logging实现日志滚动和过期日志删除功能
Aug 20 #Python
python3中替换python2中cmp函数的实现
Aug 20 #Python
python 并发编程 多路复用IO模型详解
Aug 20 #Python
关于pytorch中网络loss传播和参数更新的理解
Aug 20 #Python
对pytorch中的梯度更新方法详解
Aug 20 #Python
You might like
第四节 构造函数和析构函数 [4]
2006/10/09 PHP
PHP 基于Yii框架中使用smarty模板的方法详解
2013/06/13 PHP
php生成excel列名超过26列大于Z时的解决方法
2014/12/29 PHP
iOS10推送通知开发教程
2016/09/19 PHP
PHP简单获取上月、本月、近15天、近30天的方法示例
2017/07/03 PHP
PHP实现从上往下打印二叉树的方法
2018/01/18 PHP
PHP格式化显示时间date()函数代码
2018/10/03 PHP
php写app用的框架整理
2019/09/29 PHP
Gambit vs ForZe BO3 第一场 2.13
2021/03/10 DOTA
javascript 新浪背投广告实现代码
2009/07/07 Javascript
JavaScript.The.Good.Parts阅读笔记(二)作用域&amp;闭包&amp;减缓全局空间污染
2010/11/16 Javascript
24款非常有用的 jQuery 插件分享
2011/04/06 Javascript
YUI Compressor压缩JavaScript原理及微优化
2013/01/07 Javascript
javascript中全局对象的isNaN()方法使用介绍
2013/12/19 Javascript
Javascript中的delete操作符详细介绍
2014/06/06 Javascript
JS创建类和对象的两种不同方式
2014/08/08 Javascript
分享一则JavaScript滚动条插件源码
2015/03/03 Javascript
Javascript日期格式化format函数的使用方法
2016/08/30 Javascript
利用nodeJs anywhere搭建本地服务器环境的方法
2018/05/12 NodeJs
讲解vue-router之命名路由和命名视图
2018/05/28 Javascript
Quasar Input:type=&quot;number&quot; 去掉上下小箭头 实现加减按钮样式功能
2020/04/09 Javascript
深入解析Python中函数的参数与作用域
2016/03/20 Python
Python 爬虫学习笔记之多线程爬虫
2016/09/21 Python
Python时间获取及转换知识汇总
2017/01/11 Python
Python根据文件名批量转移图片的方法
2018/10/21 Python
Python TestCase中的断言方法介绍
2019/05/02 Python
python实现LRU热点缓存及原理
2019/10/29 Python
找Python安装目录,设置环境路径以及在命令行运行python脚本实例
2020/03/09 Python
python 两个一样的字符串用==结果为false问题的解决
2020/03/12 Python
推荐10个CSS3 制作的创意下拉菜单效果
2014/02/11 HTML / CSS
超30万乐谱下载:Musicnotes.com
2016/09/24 全球购物
美国殿堂级滑板、冲浪、滑雪服装品牌:Volcom(钻石)
2017/04/20 全球购物
高三历史教学反思
2014/01/09 职场文书
志愿者活动总结
2014/04/28 职场文书
教师个人工作总结范文2014
2014/11/10 职场文书
前端框架ECharts dataset对数据可视化的高级管理
2022/12/24 Javascript