Python标准库06之子进程 (subprocess包) 详解


Posted in Python onDecember 07, 2016

这里的内容以Linux进程基础和Linux文本流为基础。subprocess包主要功能是执行外部的命令和程序。比如说,我需要使用wget下载文件。我在Python中调用wget程序。从这个意义上来说,subprocess的功能与shell类似。

subprocess以及常用的封装函数

当我们运行python的时候,我们都是在创建并运行一个进程。正如我们在Linux进程基础中介绍的那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序。在Python中,我们通过标准库中的subprocess包来fork一个子进程,并运行一个外部的程序(fork,exec见Linux进程基础)。

subprocess包中定义有数个创建子进程的函数,这些函数分别以不同的方式创建子进程,所以我们可以根据需要来从中选取一个使用。另外subprocess还提供了一些管理标准流(standard stream)和管道(pipe)的工具,从而在进程间使用文本通信。

 使用subprocess包中的函数创建子进程的时候,要注意:

1) 在创建子进程之后,父进程是否暂停,并等待子进程运行。

2) 函数返回什么

3) 当returncode不为0时,父进程如何处理。

subprocess.call()

父进程等待子进程完成

返回退出信息(returncode,相当于exit code,见Linux进程基础)

subprocess.check_call()

父进程等待子进程完成

返回0

检查退出信息,如果returncode不为0,则举出错误subprocess.CalledProcessError,该对象包含有returncode属性,可用try...except...来检查(见Python错误处理)。

subprocess.check_output()

父进程等待子进程完成

返回子进程向标准输出的输出结果

检查退出信息,如果returncode不为0,则举出错误subprocess.CalledProcessError,该对象包含有returncode属性和output属性,output属性为标准输出的输出结果,可用try...except...来检查。

这三个函数的使用方法相类似,我们以subprocess.call()来说明:

import subprocess
rc = subprocess.call(["ls","-l"])

我们将程序名(ls)和所带的参数(-l)一起放在一个表中传递给subprocess.call()

 可以通过一个shell来解释一整个字符串:

import subprocess
out = subprocess.call("ls -l", shell=True)
out = subprocess.call("cd ..", shell=True)

我们使用了shell=True这个参数。这个时候,我们使用一整个字符串,而不是一个表来运行子进程。Python将先运行一个shell,再用这个shell来解释这整个字符串。

shell命令中有一些是shell的内建命令,这些命令必须通过shell运行,$cd。shell=True允许我们运行这样一些命令。

Popen()

实际上,我们上面的三个函数都是基于Popen()的封装(wrapper)。这些封装的目的在于让我们容易使用子进程。当我们想要更个性化我们的需求的时候,就要转向Popen类,该类生成的对象用来代表子进程。

 与上面的封装不同,Popen对象创建后,主程序不会自动等待子进程完成。我们必须调用对象的wait()方法,父进程才会等待 (也就是阻塞block):

import subprocess
child = subprocess.Popen(["ping","-c","5","www.google.com"])
print("parent process")

从运行结果中看到,父进程在开启子进程之后并没有等待child的完成,而是直接运行print。

 对比等待的情况:

import subprocess
child = subprocess.Popen(["ping","-c","5","www.google.com"])
child.wait()
print("parent process")

此外,你还可以在父进程中对子进程进行其它操作,比如我们上面例子中的child对象:

child.poll()      # 检查子进程状态

child.kill()      # 终止子进程

child.send_signal()  # 向子进程发送信号

child.terminate()   # 终止子进程

子进程的PID存储在child.pid

 子进程的文本流控制

(沿用child子进程) 子进程的标准输入,标准输出和标准错误也可以通过如下属性表示:

  • child.stdin
  • child.stdout
  • child.stderr

 我们可以在Popen()建立子进程的时候改变标准输入、标准输出和标准错误,并可以利用subprocess.PIPE将多个子进程的输入和输出连接在一起,构成管道(pipe):

import subprocess
child1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)
child2 = subprocess.Popen(["wc"], stdin=child1.stdout,stdout=subprocess.PIPE)
out = child2.communicate()
print(out)

subprocess.PIPE实际上为文本流提供一个缓存区。child1的stdout将文本输出到缓存区,随后child2的stdin从该PIPE中将文本读取走。child2的输出文本也被存放在PIPE中,直到communicate()方法从PIPE中读取出PIPE中的文本。

要注意的是,communicate()是Popen对象的一个方法,该方法会阻塞父进程,直到子进程完成。

 我们还可以利用communicate()方法来使用PIPE给子进程输入:

import subprocess
child = subprocess.Popen(["cat"], stdin=subprocess.PIPE)
child.communicate("vamei")

我们启动子进程之后,cat会等待输入,直到我们用communicate()输入"vamei"。

通过使用subprocess包,我们可以运行外部程序。这极大的拓展了Python的功能。如果你已经了解了操作系统的某些应用,你可以从Python中直接调用该应用(而不是完全依赖Python),并将应用的结果输出给Python,并让Python继续处理。shell的功能(比如利用文本流连接各个应用),就可以在Python中实现。

总结

subprocess.call, subprocess.check_call(), subprocess.check_output()

subprocess.Popen(), subprocess.PIPE

Popen.wait(), Popen.communicate()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python类属性与实例属性用法分析
May 09 Python
详解MySQL数据类型int(M)中M的含义
Nov 20 Python
利用python实现简单的循环购物车功能示例代码
Jul 05 Python
详谈Pandas中iloc和loc以及ix的区别
Jun 08 Python
对python中数据集划分函数StratifiedShuffleSplit的使用详解
Dec 11 Python
Python在图片中插入大量文字并且自动换行
Jan 02 Python
python pytest进阶之fixture详解
Jun 27 Python
Python PIL读取的图像发生自动旋转的实现方法
Jul 05 Python
PyCharm中代码字体大小调整方法
Jul 29 Python
通过python检测字符串的字母
Feb 18 Python
Python3 filecmp模块测试比较文件原理解析
Mar 23 Python
selenium学习教程之定位以及切换frame(iframe)
Jan 04 Python
利用 Monkey 命令操作屏幕快速滑动
Dec 07 #Python
Python深入06——python的内存管理详解
Dec 07 #Python
Python制作钉钉加密/解密工具
Dec 07 #Python
详解Python 数据库 (sqlite3)应用
Dec 07 #Python
Python应用03 使用PyQT制作视频播放器实例
Dec 07 #Python
Python 实现一个颜色色值转换的小工具
Dec 06 #Python
python 线程的暂停, 恢复, 退出详解及实例
Dec 06 #Python
You might like
Apache设置虚拟WEB
2006/10/09 PHP
PHP之变量、常量学习笔记
2008/03/27 PHP
ThinkPHP2.0读取MSSQL提示Incorrect syntax near the keyword 'AS'的解决方法
2014/06/25 PHP
一个非常完美的读写ini格式的PHP配置类分享
2015/02/12 PHP
php实现在站点里面添加邮件发送的功能
2020/04/28 PHP
php自动提交表单的方法(基于fsockopen与curl)
2016/05/09 PHP
php对象工厂类完整示例
2018/08/09 PHP
浅析jQuery对select操作小结(遍历option,操作option)
2013/07/04 Javascript
js实现获取当前时间是本月第几周的方法
2015/08/11 Javascript
基于jQuery的checkbox全选问题分析
2016/11/18 Javascript
JS作用域闭包、预解释和this关键字综合实例解析
2016/12/16 Javascript
提高Node.js性能的应用技巧分享
2017/08/10 Javascript
vue中$set的使用(结合在实际应用中遇到的坑)
2018/07/10 Javascript
vue中使用百度脑图kityminder-core二次开发的实现
2019/09/26 Javascript
微信小程序swiper左右扩展各显示一半代码实例
2019/12/05 Javascript
Vue中keep-alive的两种应用方式
2020/07/15 Javascript
Python中的变量和作用域详解
2016/07/13 Python
Python信息抽取之乱码解决办法
2017/06/29 Python
django实现用户登陆功能详解
2017/12/11 Python
python中的print()输出
2019/04/12 Python
pyqt5使用按钮进行界面的跳转方法
2019/06/19 Python
python pandas生成时间列表
2019/06/29 Python
解决使用export_graphviz可视化树报错的问题
2019/08/09 Python
Python列表删除元素del、pop()和remove()的区别小结
2019/09/11 Python
python根据完整路径获得盘名/路径名/文件名/文件扩展名的方法
2020/04/22 Python
django template实现定义临时变量,自定义赋值、自增实例
2020/07/12 Python
周仰杰(JIMMY CHOO)英国官方网站:闻名世界的鞋子品牌
2018/10/28 全球购物
雅诗兰黛澳大利亚官网:Estée Lauder澳大利亚
2019/05/31 全球购物
大学生就业推荐信范文
2013/11/29 职场文书
教师实习自我鉴定
2013/12/11 职场文书
地球一小时宣传标语
2014/06/24 职场文书
弘扬焦裕禄精神走群众路线思想汇报
2014/09/12 职场文书
2014小学教师年度考核工作总结
2014/12/03 职场文书
2014年学校后勤工作总结
2014/12/06 职场文书
公司趣味运动会开幕词
2016/03/04 职场文书
SpringBoot+VUE实现数据表格的实战
2021/08/02 Java/Android