利用Python+Java调用Shell脚本时的死锁陷阱详解


Posted in Python onJanuary 24, 2018

前言

最近有一项需求,要定时判断任务执行条件是否满足并触发 Spark 任务,平时编写 Spark 任务时都是封装为一个 Jar 包,然后采用 Shell 脚本形式传入所需参数执行,考虑到本次判断条件逻辑复杂,只用 Shell 脚本完成不利于开发测试,所以调研使用了 Python 和 Java 分别调用 Spark 脚本的方法。

使用版本为 Python 3.6.4 及 JDK 8

Python

主要使用 subprocess 库。Python 的 API 变动比较频繁,在 3.5 之后新增了 run 方法,这大大降低了使用难度和遇见 Bug 的概率。

subprocess.run(["ls", "-l"])
subprocess.run(["sh", "/path/to/your/script.sh", "arg1", "arg2"])

为什么说使用 run 方法可以降低遇见 Bug 的概率呢?

在没有 run 方法之前,我们一般调用其他的高级方法,即 Older high-level API,比如 call,check_all,或者直接创建 Popen 对象。因为默认的输出是 console,这时如果对 API 不熟悉或者没有仔细看 doc,想要等待子进程运行完毕并获取输出,使用了 stdout = PIPE 再加上 wait 的话,当输出内容很多时会导致 Buffer 写满,进程就一直等待读取,形成死锁。在一次将 Spark 的 log 输出到 console 时,就遇到了这种奇怪的现象,下边的脚本可以模拟:

# a.sh
for i in {0..9999}; do
 echo '***************************************************'
done
p = subprocess.Popen(['sh', 'a.sh'], stdout=subprocess.PIPE)
p.wait()

而 call 则在方法内部直接调用了 wait 产生相同的效果。

要避免死锁,则必须在 wait 方法调用之前自行处理掉输入输出,或者使用推荐的 communicate 方法。 communicate 方法是在内部生成了读取线程分别读取 stdout stderr,从而避免了 Buffer 写满。而之前提到的新的 run 方法,就是在内部调用了 communicate。

stdout, stderr = process.communicate(input, timeout=timeout)

Java

说完了 Python,Java 就简单多了。

Java 一般使用 Runtime.getRuntime().exec() 或者 ProcessBuilder 调用外部脚本:

Process p = Runtime.getRuntime().exec(new String[]{"ls", "-al"});
Scanner sc = new Scanner(p.getInputStream());
while (sc.hasNextLine()) {
 System.out.println(sc.nextLine());
}
// or
Process p = new ProcessBuilder("sh", "a.sh").start(); 
p.waitFor(); // dead lock

需要注意的是:这里 stream 的方向是相对于主程序的,所以 getInputStream() 就是子进程的输出,而 getOutputStream() 是子进程的输入。

基于同样的 Buffer 原因,假如调用了 waitFor 方法等待子进程执行完毕而没有及时处理输出的话,就会造成死锁。
由于 Java API 很少变动,所以没有像 Python 那样提供新的 run 方法,但是开源社区也给出了自己的方案,如commons exec,或 http://www.baeldung.com/run-shell-command-in-java,或 alvin alexander 给出的方案(虽然不完整)。

// commons exec,要想获取输出的话,相比 python 来说要复杂一些
CommandLine commandLine = CommandLine.parse("sh a.sh");
  
ByteArrayOutputStream out = new ByteArrayOutputStream();
PumpStreamHandler streamHandler = new PumpStreamHandler(out);
  
Executor executor = new DefaultExecutor();
executor.setStreamHandler(streamHandler);
executor.execute(commandLine);
  
String output = new String(out.toByteArray());

但其中的思想和 Python 都是统一的,就是在后台开启新线程读取子进程的输出,防止 Buffer 写满。

另一个统一思想的地方就是,都推荐使用数组或 list 将输入的 shell 命令分隔成多段,这样的话就由系统来处理空格等特殊字符问题。

参考:

https://dcreager.net/2009/08/06/subprocess-communicate-drawbacks/ https://alvinalexander.com/java/java-exec-processbuilder-process-1 https://www.javaworld.com/article/2071275/core-java/when-runtime-exec—won-t.html

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python查找第k小元素代码分享
Dec 18 Python
python基础教程之lambda表达式使用方法
Feb 12 Python
Python中的startswith和endswith函数使用实例
Aug 25 Python
Python基础中所出现的异常报错总结
Nov 19 Python
浅谈python中对于json写入txt文件的编码问题
Jun 07 Python
python 移除字符串尾部的数字方法
Jul 17 Python
不管你的Python报什么错,用这个模块就能正常运行
Sep 14 Python
pandas通过索引进行排序的示例
Nov 16 Python
celery4+django2定时任务的实现代码
Dec 23 Python
对python 树状嵌套结构的实现思路详解
Aug 09 Python
python爬虫中的url下载器用法详解
Nov 30 Python
python中requests库+xpath+lxml简单使用
Apr 29 Python
python做量化投资系列之比特币初始配置
Jan 23 #Python
python在非root权限下的安装方法
Jan 23 #Python
Python解析命令行读取参数--argparse模块使用方法
Jan 23 #Python
Python 查看文件的读写权限方法
Jan 23 #Python
Python3 中文文件读写方法
Jan 23 #Python
Python3之文件读写操作的实例讲解
Jan 23 #Python
Python实现邮件的批量发送的示例代码
Jan 23 #Python
You might like
PHP常见数组排序方法小结
2018/08/20 PHP
javascript中巧用“闭包”实现程序的暂停执行功能
2007/04/04 Javascript
Javascript优化技巧(文件瘦身篇)
2008/01/28 Javascript
11个用于提高排版水平的基于jquery的文字效果插件
2012/09/14 Javascript
js兼容的placeholder属性详解
2013/08/18 Javascript
JS 实现点击a标签的时候让其背景更换
2013/10/15 Javascript
javascript实现页面内关键词高亮显示代码
2014/04/03 Javascript
关于JavaScript命名空间的一些心得
2014/06/07 Javascript
JS获取单击按钮单元格所在行的信息
2014/06/17 Javascript
js中回调函数的学习笔记
2014/07/31 Javascript
JS输入用户名自动显示邮箱后缀列表的方法
2015/01/27 Javascript
关于JavaScript和jQuery的类型判断详解
2016/10/08 Javascript
nodejs入门教程四:URL相关模块用法分析
2017/04/24 NodeJs
Vue脚手架的简单使用实例
2018/07/10 Javascript
Javascript 关于基本类型和引用类型的个人理解
2019/11/01 Javascript
Vue 一键清空表单的实现方法
2020/02/07 Javascript
js实现验证码功能
2020/07/24 Javascript
python实现应用程序在右键菜单中添加打开方式功能
2017/01/09 Python
Python简单实现网页内容抓取功能示例
2018/06/07 Python
基于Python List的赋值方法
2018/06/23 Python
解决pycharm最左侧Tool Buttons显示不全的问题
2019/12/17 Python
python如何通过pyqt5实现进度条
2020/01/20 Python
python 数据库查询返回list或tuple实例
2020/05/15 Python
matplotlib基础绘图命令之errorbar的使用
2020/08/13 Python
CSS3系列之3D制作方法案例
2017/08/14 HTML / CSS
HTML中fieldset标签概述及使用方法
2013/02/01 HTML / CSS
美国创意礼品网站:UncommonGoods
2017/02/03 全球购物
类和结构的区别
2012/08/15 面试题
英文简历中的自荐信范文
2013/12/14 职场文书
六查六看剖析材料
2014/02/15 职场文书
《再见了,亲人》教学反思
2014/02/26 职场文书
师范生自我鉴定
2014/03/20 职场文书
服务质量承诺书
2014/03/27 职场文书
幼儿园中班下学期评语
2014/04/18 职场文书
医生个人年度总结
2015/02/28 职场文书
道德与公民自我评价
2015/03/09 职场文书