Python supervisor强大的进程管理工具的使用


Posted in Python onApril 24, 2019

本文主要跟大家分享在类unix操作系统下supervisor的使用以及一些关于进程的知识

一、问题背景

1、背景

如何才能让一个进程摆脱终端,获得相对较长的生命周期?

2、后台(守护)、前台进程

​什么是守护进程?通俗点讲就是后台跑着的进程,不会因为你关了终端服务就会随之停止,直到你把计算机的电源关闭。当进程变为后台进程后,同一个终端就会释放了,你可以在其中干别的事情,而不会干扰到你跑的服务。后台进程一般来说不能捕捉输入,服务的输出依然可以选择在终端输出。

同样的道理,理解前台进程就简单多了,前台进程就是你的一个服务在跑,但是不能再在同一个终端干别的事情,必须把你现有的服务给停掉之后才可以继续干别的事,前台进程可以捕捉输入、输出。

3、如何将前台进程启动为后台进程

用过Python Django进行过开发的朋友一定会在自己本地的环境中跑过项目。如下图,这样跑起来的服务,我们通常称为前台进程,这个时候在此终端,你不能干别的事,当然这么做一般都是用来看打印在终端的调试信息,但是在远程服务器上呢?情况就不一样了吧。

Python supervisor强大的进程管理工具的使用

下面是用Python bottle写的一个最简单的web应用(bottle-轻量级框架,感兴趣的朋友可以去了解,pip install bottle可以安装)

进入终端

vim server.py

from bottle import route, run

@route("/")
def printStr():
  return "hello world"
  
run(host="localhost", port=8090, debug=True)

在终端下,把应用跑起来

$ python server.py

Python supervisor强大的进程管理工具的使用

出现上图所示,访问http://localhost:8090/,浏览器就出现"hello world",这时,ctrl+c后在访问就会报错了。下面演示如何将该进程启动为后台进程

(1)依然可以在终端输出的后台进程,就在命令行后加上&符号,依然可访问

$ python server.py &

Python supervisor强大的进程管理工具的使用

Python supervisor强大的进程管理工具的使用

可以看到终端依然捕捉到输出

Python supervisor强大的进程管理工具的使用​  

(2) 使用nohup命令结合&符号,该命令会在当前目录下生成nohup.out文件,此文件保存着本该终端打印出来的信息,如下图所示

$ nohup python server.py &

Python supervisor强大的进程管理工具的使用

4、如何辨别后台进程

上面乱搞一通就变成了后台进程?别急,我们通过ps命令看一下

$ ps aux

Python supervisor强大的进程管理工具的使用

TT列为??的为后台进程,没有得就是前台进程,前台进程还有个明显的标记就是有个''+"号

5、存在的问题

上述启动为后台进程的方法,其实是存在很多问题的。

(1)从项目的角度看,一个项目往往不止起一个进程,还可能有其他的进程,那么,如何进行统一的进程管理呢?

(2)在进程运行的过程中,因为某种原因,挂掉了,如何做到不用人为干预自动重启进程呢?

supervisor完美解决上面的两个问题,当然可能还有更为强大的功能。

二、什么是supervisor

1、定义

Supervisor是用Python编写的目前只能在类unix操作系统中使用的一个进程管理工具。

注意,是一个管理工具,并不是库或包。

2、作用

Supervisor进程管理工具可以高效简单地对单个或者多个进程进行统一管理,如启动、重启、停止进程。更重要的作用是能在进程因为某种原因崩溃时,做到自动重启

3、Supervisor的组成

Supervisor主要由以下两部分组成:

(1)supervisord:

当我们启动Supervisor时,首先会有一个supervisord进程,称为父进程,它所管理的进程是它的子进程。supervisord进程负责统一管理这些子进程的启动、重启、停止。某种角度上看,有点NGINX的master与worker的感觉吧。

(2)supervisorctl:

一个命令行管理工具,输入某些命令,如:start、stop、restart等,就可以对指定的进程进行相应的操作了,极其简单。

如何简单地理解?

可以将supervisord理解为服务器,supervisorctl理解为客户端,输入的一些命令可以看做是客户端与服务器的交互过程。更牛逼的是Supervisor提供了web api在浏览器上就可以直接进行对进程的可视化管理。

接下来,在使用Supervisor进程管理工具前,先来看看一些配置项,当然安装好Supervisor之后,它的配置文件里已经有很详细的注释了,这里主要介绍子进程的配置文件的配置参数。下图就是三个子进程的配置文件,为什么要拿子进程的配置出来,形成一个独立的配置文件呢?当然是为了维护方便,就像很多人用NGINX一样,把配置文件按模块进行管理

Python supervisor强大的进程管理工具的使用

子进程配置文件的示例

Python supervisor强大的进程管理工具的使用​  

常用配置参数说明:

配置项 说明
directory 就是你项目所在的位置,supervisord会自动切换到这个目录
command 你跑项目的命令
user 你用什么身份起进程
autostart 当设置为true时,当supervisord启动时,该子进程就会自动启动
autorestart 当设置为true时,子进程因为某种原因挂掉,会自动进行重启
startsecs 该子进程启动多久后,才认为进程启动成功
startretries 子进程尝试情动的次数,默认为3
redirect_stderr 当设置为true时,子进程的标准错误输出重定向到supervisord后台的标准输出文件描述符
stdout_logfile 子进程标准输出存放的路径
stdout_logfile_maxbytes 标准输出文件达到多少后进行轮转
stdout_logfile_backups 标准输出日志的备份数量
priority 子进程启动的优先级,值越小启动越早

接下来,就是怎么用Supervisor的问题了

三、如何使用supervisor

1、安装Supervisor

两种方式进行安装

$ brew install supervisor #(本人机子是MAC,其他类unix操作系统的发行版本,自行使用相应的软件管理命令)
$ pip install supervisor

注意:supervisor只运行在python2.4以上的版本,但是不支持Python3.X,如果你的机子没有相应的版本就Google一下解决办法吧

安装完成之后,我的是默认的安装路径

$ cd /usr/local/etc/

Python supervisor强大的进程管理工具的使用
​ 

上图所示的supervisord.ini文件就是安装后产生的文件,supervisor.d是我自己自自建的文件夹,这个待会说。

linux操作系统的是安装路径

Python supervisor强大的进程管理工具的使用

我们先来看看supervisord.ini是什么?

2、编辑配置文件

$ cat -n supervisord.ini

可以看到大概有148行,有9个配置选项

Python supervisor强大的进程管理工具的使用

Python supervisor强大的进程管理工具的使用

Python supervisor强大的进程管理工具的使用

上图中画红色横线的地方要注意,有些人的supervisord.pid 以及 supervisor.sock 是放在 /tmp 目录下,这个目录是放临时文件的,容易丢失,强烈建议改目录放置,建议放在/var/run/下。

别看这supervisord.ini配置文件一大推东西,其实真正需要配的地方很少,本人就只是选用了第二个框的配置项,这里还提一下【include】配置项,跟NGNIX的配置文件如出一辙,意思是:我这里配置文件还包含了这个目录下的所有配置文件。还记得上本提到的supervisor.d目录吗?里面可以放置很多**.ini文件,而这些.ini**的文件其实很简单,仅仅包含了上图中的第六个配置项,这样就达到一个子进程一个配置文件,方便进行维护的目的。

$ ls supervisor.d/

Python supervisor强大的进程管理工具的使用

$ vim server2.py

Python supervisor强大的进程管理工具的使用
​ 

上图的红框的内容,其实就是主配置文件中的第六个框的配置项,只是把它抽出来,形成独立的配置文件,达到分而治之的目的。

以上就配置好了两个子进程,接下来就是跑起来了

3、启动supercisord

$ supervisord -c /usr/loacl/etc/supervisord.ini #注意:要以配置文件的方式开启服务

Python supervisor强大的进程管理工具的使用

上图的现象是因为我已经启动了supervisord进程,下面通过supervisorctl命令行工具进行进程管理

4、使用supervisorctl进行进程管理

进入supervisorctl交互界面,也要以带有配置文件的方式进入,这样才会跟踪到配置

$ supervisorctl -c /usr/local/etc/supervisord.ini

Python supervisor强大的进程管理工具的使用​  

上图的现象是因为我把代码切换到了一个正在开发的分支上

supervisor> help #查看命令

Python supervisor强大的进程管理工具的使用

于是乎,可以根据命令自由地对子进程进行管理。

下表是一些常用的命令:

常用的命令 说明
status 查看当前管理的子进程
reload 当配置发生改变时,进行热部署
restart [program_name] 重启某个子进程
start [program_name] 启动某个子进程

5、可以通过web页面进行进程可视化进程管理

使用浏览器访问127.0.0.1:9001,进入管理可视化界面

Python supervisor强大的进程管理工具的使用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python获取beautifulphoto随机某图片代码实例
Dec 18 Python
python和C语言混合编程实例
Jun 04 Python
整理Python最基本的操作字典的方法
Apr 24 Python
python实现多线程的方式及多条命令并发执行
Jun 07 Python
Python编程使用tkinter模块实现计算器软件完整代码示例
Nov 29 Python
Python requests库用法实例详解
Aug 14 Python
使用matplotlib中scatter方法画散点图
Mar 19 Python
python+rsync精确同步指定格式文件
Aug 29 Python
Python Collatz序列实现过程解析
Oct 12 Python
Python如何使用bokeh包和geojson数据绘制地图
Mar 21 Python
TensorFlow实现模型断点训练,checkpoint模型载入方式
May 26 Python
使用Numpy对特征中的异常值进行替换及条件替换方式
Jun 08 Python
python3爬虫学习之数据存储txt的案例详解
Apr 24 #Python
Python3.5面向对象编程图文与实例详解
Apr 24 #Python
Python对ElasticSearch获取数据及操作
Apr 24 #Python
Python3.5面向对象与继承图文实例详解
Apr 24 #Python
Python3.5基础之NumPy模块的使用图文与实例详解
Apr 24 #Python
基于python的ini配置文件操作工具类
Apr 24 #Python
python实现简单日期工具类
Apr 24 #Python
You might like
用PHP控制用户的浏览器--ob*函数的使用说明
2007/03/16 PHP
php文件上传表单摘自drupal的代码
2011/02/15 PHP
浅析PHP程序防止ddos,dns,集群服务器攻击的解决办法
2013/06/18 PHP
数组与类使用PHP的可变变量名需要的注意的问题
2013/06/20 PHP
关于URL最大长度限制的相关资料查证
2014/12/23 PHP
浅析php如何实现App常用的秒发功能
2016/08/03 PHP
thinkPHP5.0框架URL访问方法详解
2017/03/18 PHP
javascript与CSS复习(二)
2010/06/29 Javascript
用js实现的模拟jquery的animate自定义动画(2.5K)
2010/07/20 Javascript
Jquery中国地图热点效果-鼠标经过弹出提示层信息的简单实例
2014/02/12 Javascript
JS实现OCX控件的事件响应示例
2014/09/17 Javascript
JavaScript实现的一个日期格式化函数分享
2014/12/06 Javascript
chrome浏览器当表单自动填充时如何去除浏览器自动添加的默认样式
2015/10/09 Javascript
js操作数组函数实例小结
2015/12/10 Javascript
Angularjs整合微信UI(weui)
2016/03/15 Javascript
浅谈js常用内置方法和对象
2016/09/24 Javascript
使用bootstrap-paginator.js 分页来进行ajax 异步分页请求示例
2017/03/09 Javascript
微信小程序 数据遍历的实现
2017/04/05 Javascript
js获取浏览器的各种属性
2017/04/27 Javascript
详解node nvm进行node多版本管理
2017/10/21 Javascript
Node.js模块全局安装路径配置方法
2018/05/17 Javascript
vue用BMap百度地图实现即时搜索功能
2019/09/26 Javascript
介绍Python中几个常用的类方法
2015/04/08 Python
Python 自动化表单提交实例代码
2017/06/08 Python
python读取文件名并改名字的实例
2019/01/07 Python
pyqt5 tablewidget 利用线程动态刷新数据的方法
2019/06/17 Python
python英语单词测试小程序代码实例
2019/09/09 Python
Python使用sqlite3模块内置数据库
2020/05/07 Python
使用Python获取爱奇艺电视剧弹幕数据的示例代码
2021/01/12 Python
CSS3 please 跨浏览器的CSS3产生器
2010/03/14 HTML / CSS
canvas像素点操作之视频绿幕抠图
2018/09/11 HTML / CSS
Photobook澳大利亚:制作相片书,婚礼卡,旅行相簿
2017/01/12 全球购物
世界排名第一的万圣节服装店:Spirit Halloween
2018/10/16 全球购物
建议书的格式
2014/05/12 职场文书
出生公证书
2015/01/23 职场文书
JavaScript如何优化逻辑判断代码详解
2021/06/08 Javascript