Python如何实现守护进程的方法示例


Posted in Python onFebruary 08, 2017

场景设置:

你编写了一个python服务程序,并且在命令行下启动,而你的命令行会话又被终端所控制,python服务成了终端程序的一个子进程。因此如果你关闭了终端,这个命令行程序也会随之关闭。

要使你的python服务不受终端影响而常驻系统,就需要将它变成守护进程。

守护进程就是Daemon程序,是一种在系统后台执行的程序,它独立于控制终端并且执行一些周期任务或触发事件,通常被命名为"d"字母结尾,如常见的httpd、syslogd、systemd和dockerd等。

代码实现

python可以很简洁地实现守护进程,下面先给出代码和相应注释:

# coding=utf8
import os
import sys
import atexit


def daemonize(pid_file=None):
 """
 创建守护进程
 :param pid_file: 保存进程id的文件
 :return:
 """
 # 从父进程fork一个子进程出来
 pid = os.fork()
 # 子进程的pid一定为0,父进程大于0
 if pid:
 # 退出父进程,sys.exit()方法比os._exit()方法会多执行一些刷新缓冲工作
 sys.exit(0)

 # 子进程默认继承父进程的工作目录,最好是变更到根目录,否则回影响文件系统的卸载
 os.chdir('/')
 # 子进程默认继承父进程的umask(文件权限掩码),重设为0(完全控制),以免影响程序读写文件
 os.umask(0)
 # 让子进程成为新的会话组长和进程组长
 os.setsid()

 # 注意了,这里是第2次fork,也就是子进程的子进程,我们把它叫为孙子进程
 _pid = os.fork()
 if _pid:
 # 退出子进程
 sys.exit(0)

 # 此时,孙子进程已经是守护进程了,接下来重定向标准输入、输出、错误的描述符(是重定向而不是关闭, 这样可以避免程序在 print 的时候出错)

 # 刷新缓冲区先,小心使得万年船
 sys.stdout.flush()
 sys.stderr.flush()

 # dup2函数原子化地关闭和复制文件描述符,重定向到/dev/nul,即丢弃所有输入输出
 with open('/dev/null') as read_null, open('/dev/null', 'w') as write_null:
 os.dup2(read_null.fileno(), sys.stdin.fileno())
 os.dup2(write_null.fileno(), sys.stdout.fileno())
 os.dup2(write_null.fileno(), sys.stderr.fileno())

 # 写入pid文件
 if pid_file:
 with open(pid_file, 'w+') as f:
  f.write(str(os.getpid()))
 # 注册退出函数,进程异常退出时移除pid文件
 atexit.register(os.remove, pid_file)

概括一下守护进程的编写步骤:

  1. fork出子进程,退出父进程
  2. 子进程变更工作目录(chdir)、文件权限掩码(umask)、进程组和会话组(setsid)
  3. 子进程fork孙子进程,退出子进程
  4. 孙子进程刷新缓冲,重定向标准输入/输出/错误(一般到/dev/null,意即丢弃)
  5. (可选)pid写入文件

理解几个要点

为什么要fork两次

第一次fork,是为了脱离终端控制的魔爪。父进程之所以退出,是因为终端敲击键盘、或者关闭时给它发送了信号;而fork出来的子进程,在父进程自杀后成为孤儿进程,进而被操作系统的init进程接管,因此脱离终端控制。

所以其实,第二次fork并不是必须的(很多开源项目里的代码就没有fork两次)。只不过出于谨慎考虑,防止进程再次打开一个控制终端。因为子进程现在是会话组长了(对话期的首次进程),有能力打开控制终端,再fork一次,孙子进程就不能打开控制终端了。

文件描述符

Linux是“一切皆文件”,文件描述符是内核为已打开的文件所创建的索引,通常是非负整数。进程通过文件描述符执行IO操作。

默认情况下,0代表标准输入,1代表标准输出,2代表标准错误。

umask权限掩码

我们知道,在Linux中,任何一个文件都有读(read)、写(write)和执行(execute)的三种使用权限。其中,读的权限用数字4代表,写权限是2,执行权限是1。命令ls -l可以查看文件权限,r/w/x分别表示具有读/写/执行权限。

任何文件,也都有用户(User),用户组(Group),其他组(Others)三种身份权限。一般用3个数字表示文件权限,例如754:

     7,是User权限,即文件拥有者权限

     5,是Group权限,拥有者所在用户组的组员所具有的权限

     4,是Others权限,即其他组用户的权限啦

而umask是为了控制默认权限,防止新建文件或文件夹具有全权。

系统一般默认为022(使用命令umask查看),表示默认创建文件的权限是644,文件夹是755。你应该可以看出它们的规律,就是文件权限和umask的相加结果为666(笑),文件夹权限和umask的相加结果为777。

进程组

每个进程都属于一个进程组(PG,Process Group),进程组可以包含多个进程。
进程组有一个进程组长(Leader),进程组长的ID(PID, Process ID)就作为整个进程组的ID(PGID,Process Groupd ID)。

会话组

登陆终端时,就会创造一个会话,多个进程组可以包含在一个会话中。而创建会话的进程,就是会话组长。
已经是会话组长的进程,不可以再调用setsid()方法创建会话。因此,上面代码中,子进程可以调用setsid(),而父进程不能,因为它本身就是会话组长。

另外,sh(Bourne Shell)不支持会话机制,因为会话机制需要shell支持工作控制(Job Control)。

守护进程与后台进程

通过&符号,可以把命令放到后台执行。它与守护进程是不同的:

  1. 守护进程与终端无关,是被init进程收养的孤儿进程;而后台进程的父进程是终端,仍然可以在终端打印
  2. 守护进程在关闭终端时依然坚挺;而后台进程会随用户退出而停止,除非加上nohup
  3. 守护进程改变了会话、进程组、工作目录和文件描述符,后台进程直接继承父进程(shell)的

换句话说:守护进程就是默默地奋斗打拼的有为青年,而后台进程是默默继承老爸资产的富二代。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
python之Socket网络编程详解
Sep 29 Python
python实现的二叉树定义与遍历算法实例
Jun 30 Python
利用django如何解析用户上传的excel文件
Jul 24 Python
Python数据分析之双色球基于线性回归算法预测下期中奖结果示例
Feb 08 Python
python实现从文件中读取数据并绘制成 x y 轴图形的方法
Oct 14 Python
Python函数中参数是传递值还是引用详解
Jul 02 Python
利用Python绘制有趣的万圣节南瓜怪效果
Oct 31 Python
Python抓包程序mitmproxy安装和使用过程图解
Mar 02 Python
完美解决keras保存好的model不能成功加载问题
Jun 11 Python
解决运行出现'dict' object has no attribute 'has_key'问题
Jul 15 Python
python使用建议技巧分享(三)
Aug 18 Python
python字符串拼接.join()和拆分.split()详解
Nov 23 Python
详解Python中表达式i += x与i = i + x是否等价
Feb 08 #Python
Python实现的多线程http压力测试代码
Feb 08 #Python
Python实现定时任务
Feb 08 #Python
python使用matplotlib绘制柱状图教程
Feb 08 #Python
Python实现简单的多任务mysql转xml的方法
Feb 08 #Python
python使用matplotlib绘制折线图教程
Feb 08 #Python
关于Python中Inf与Nan的判断问题详解
Feb 08 #Python
You might like
php抽奖小程序的实现代码
2013/06/18 PHP
php curl模拟post请求小实例
2013/11/13 PHP
PHP函数getenv简介和使用实例
2014/05/12 PHP
PHP 7的一些引人注目的新特性简单介绍
2015/11/08 PHP
php微信公众号开发(3)php实现简单微信文本通讯
2016/12/15 PHP
PHP编程文件处理类SplFileObject和SplFileInfo用法实例分析
2017/07/22 PHP
php判断str字符串是否是xml格式数据的方法示例
2017/07/26 PHP
PHP获取MySQL执行sql语句的查询时间方法
2018/08/21 PHP
js直接编辑当前cookie的脚本
2008/09/14 Javascript
JavaScript 在线压缩和格式化收藏
2009/01/16 Javascript
图片放大镜jquery.jqzoom.js使用实例附放大镜图标
2014/06/19 Javascript
js数组依据下标删除元素
2015/04/14 Javascript
利用js实现禁止复制文本信息
2015/06/03 Javascript
js实现有过渡渐变效果的图片轮播相册(兼容IE,ff)
2016/01/19 Javascript
基于javascript html5实现多文件上传
2016/03/03 Javascript
JS简单获得节点元素的方法示例
2018/02/10 Javascript
使用vuex的state状态对象的5种方式
2018/04/19 Javascript
通过jquery toggleClass()属性制作文章段落更改背景颜色
2018/05/21 jQuery
vue.js 中使用(...)运算符报错的解决方法
2018/08/09 Javascript
layui固定下拉框的显示条数(有滚动条)的方法
2019/09/10 Javascript
JavaScript和TypeScript中的void的具体使用
2019/09/12 Javascript
浅谈JavaScript中this的指向问题
2020/07/28 Javascript
[06:45]DOTA2卡尔工作室 英雄介绍幻影长矛手篇
2013/07/12 DOTA
[52:29]DOTA2上海特级锦标赛主赛事日 - 2 胜者组第一轮#3Secret VS OG第三局
2016/03/03 DOTA
[01:03:09]完美世界DOTA2联赛PWL S2 Forest vs SZ 第二场 11.25
2020/11/26 DOTA
python2.7无法使用pip的解决方法(安装easy_install)
2018/04/03 Python
python3+PyQt5实现自定义流体混合窗口部件
2018/04/24 Python
基于Python实现定时自动给微信好友发送天气预报
2018/10/25 Python
python实现Dijkstra算法的最短路径问题
2019/06/21 Python
Python OpenCV读取中文路径图像的方法
2020/07/02 Python
css3 按钮 利用css3实现超酷下载按钮
2013/03/18 HTML / CSS
APM Monaco中国官网:来自摩纳哥珠宝品牌
2017/12/27 全球购物
失业者真诚求职信范文
2013/12/25 职场文书
党性教育心得体会
2014/09/03 职场文书
Nginx配置文件详解以及优化建议指南
2021/09/15 Servers
【海涛解说】暗牧也疯狂,牛蛙成配角
2022/04/01 DOTA