Python supervisor强大的进程管理工具的使用


Posted in Python onApril 24, 2019

本文主要跟大家分享在类unix操作系统下supervisor的使用以及一些关于进程的知识

一、问题背景

1、背景

如何才能让一个进程摆脱终端,获得相对较长的生命周期?

2、后台(守护)、前台进程

​什么是守护进程?通俗点讲就是后台跑着的进程,不会因为你关了终端服务就会随之停止,直到你把计算机的电源关闭。当进程变为后台进程后,同一个终端就会释放了,你可以在其中干别的事情,而不会干扰到你跑的服务。后台进程一般来说不能捕捉输入,服务的输出依然可以选择在终端输出。

同样的道理,理解前台进程就简单多了,前台进程就是你的一个服务在跑,但是不能再在同一个终端干别的事情,必须把你现有的服务给停掉之后才可以继续干别的事,前台进程可以捕捉输入、输出。

3、如何将前台进程启动为后台进程

用过Python Django进行过开发的朋友一定会在自己本地的环境中跑过项目。如下图,这样跑起来的服务,我们通常称为前台进程,这个时候在此终端,你不能干别的事,当然这么做一般都是用来看打印在终端的调试信息,但是在远程服务器上呢?情况就不一样了吧。

Python supervisor强大的进程管理工具的使用

下面是用Python bottle写的一个最简单的web应用(bottle-轻量级框架,感兴趣的朋友可以去了解,pip install bottle可以安装)

进入终端

vim server.py

from bottle import route, run

@route("/")
def printStr():
  return "hello world"
  
run(host="localhost", port=8090, debug=True)

在终端下,把应用跑起来

$ python server.py

Python supervisor强大的进程管理工具的使用

出现上图所示,访问http://localhost:8090/,浏览器就出现"hello world",这时,ctrl+c后在访问就会报错了。下面演示如何将该进程启动为后台进程

(1)依然可以在终端输出的后台进程,就在命令行后加上&符号,依然可访问

$ python server.py &

Python supervisor强大的进程管理工具的使用

Python supervisor强大的进程管理工具的使用

可以看到终端依然捕捉到输出

Python supervisor强大的进程管理工具的使用​  

(2) 使用nohup命令结合&符号,该命令会在当前目录下生成nohup.out文件,此文件保存着本该终端打印出来的信息,如下图所示

$ nohup python server.py &

Python supervisor强大的进程管理工具的使用

4、如何辨别后台进程

上面乱搞一通就变成了后台进程?别急,我们通过ps命令看一下

$ ps aux

Python supervisor强大的进程管理工具的使用

TT列为??的为后台进程,没有得就是前台进程,前台进程还有个明显的标记就是有个''+"号

5、存在的问题

上述启动为后台进程的方法,其实是存在很多问题的。

(1)从项目的角度看,一个项目往往不止起一个进程,还可能有其他的进程,那么,如何进行统一的进程管理呢?

(2)在进程运行的过程中,因为某种原因,挂掉了,如何做到不用人为干预自动重启进程呢?

supervisor完美解决上面的两个问题,当然可能还有更为强大的功能。

二、什么是supervisor

1、定义

Supervisor是用Python编写的目前只能在类unix操作系统中使用的一个进程管理工具。

注意,是一个管理工具,并不是库或包。

2、作用

Supervisor进程管理工具可以高效简单地对单个或者多个进程进行统一管理,如启动、重启、停止进程。更重要的作用是能在进程因为某种原因崩溃时,做到自动重启

3、Supervisor的组成

Supervisor主要由以下两部分组成:

(1)supervisord:

当我们启动Supervisor时,首先会有一个supervisord进程,称为父进程,它所管理的进程是它的子进程。supervisord进程负责统一管理这些子进程的启动、重启、停止。某种角度上看,有点NGINX的master与worker的感觉吧。

(2)supervisorctl:

一个命令行管理工具,输入某些命令,如:start、stop、restart等,就可以对指定的进程进行相应的操作了,极其简单。

如何简单地理解?

可以将supervisord理解为服务器,supervisorctl理解为客户端,输入的一些命令可以看做是客户端与服务器的交互过程。更牛逼的是Supervisor提供了web api在浏览器上就可以直接进行对进程的可视化管理。

接下来,在使用Supervisor进程管理工具前,先来看看一些配置项,当然安装好Supervisor之后,它的配置文件里已经有很详细的注释了,这里主要介绍子进程的配置文件的配置参数。下图就是三个子进程的配置文件,为什么要拿子进程的配置出来,形成一个独立的配置文件呢?当然是为了维护方便,就像很多人用NGINX一样,把配置文件按模块进行管理

Python supervisor强大的进程管理工具的使用

子进程配置文件的示例

Python supervisor强大的进程管理工具的使用​  

常用配置参数说明:

配置项 说明
directory 就是你项目所在的位置,supervisord会自动切换到这个目录
command 你跑项目的命令
user 你用什么身份起进程
autostart 当设置为true时,当supervisord启动时,该子进程就会自动启动
autorestart 当设置为true时,子进程因为某种原因挂掉,会自动进行重启
startsecs 该子进程启动多久后,才认为进程启动成功
startretries 子进程尝试情动的次数,默认为3
redirect_stderr 当设置为true时,子进程的标准错误输出重定向到supervisord后台的标准输出文件描述符
stdout_logfile 子进程标准输出存放的路径
stdout_logfile_maxbytes 标准输出文件达到多少后进行轮转
stdout_logfile_backups 标准输出日志的备份数量
priority 子进程启动的优先级,值越小启动越早

接下来,就是怎么用Supervisor的问题了

三、如何使用supervisor

1、安装Supervisor

两种方式进行安装

$ brew install supervisor #(本人机子是MAC,其他类unix操作系统的发行版本,自行使用相应的软件管理命令)
$ pip install supervisor

注意:supervisor只运行在python2.4以上的版本,但是不支持Python3.X,如果你的机子没有相应的版本就Google一下解决办法吧

安装完成之后,我的是默认的安装路径

$ cd /usr/local/etc/

Python supervisor强大的进程管理工具的使用
​ 

上图所示的supervisord.ini文件就是安装后产生的文件,supervisor.d是我自己自自建的文件夹,这个待会说。

linux操作系统的是安装路径

Python supervisor强大的进程管理工具的使用

我们先来看看supervisord.ini是什么?

2、编辑配置文件

$ cat -n supervisord.ini

可以看到大概有148行,有9个配置选项

Python supervisor强大的进程管理工具的使用

Python supervisor强大的进程管理工具的使用

Python supervisor强大的进程管理工具的使用

上图中画红色横线的地方要注意,有些人的supervisord.pid 以及 supervisor.sock 是放在 /tmp 目录下,这个目录是放临时文件的,容易丢失,强烈建议改目录放置,建议放在/var/run/下。

别看这supervisord.ini配置文件一大推东西,其实真正需要配的地方很少,本人就只是选用了第二个框的配置项,这里还提一下【include】配置项,跟NGNIX的配置文件如出一辙,意思是:我这里配置文件还包含了这个目录下的所有配置文件。还记得上本提到的supervisor.d目录吗?里面可以放置很多**.ini文件,而这些.ini**的文件其实很简单,仅仅包含了上图中的第六个配置项,这样就达到一个子进程一个配置文件,方便进行维护的目的。

$ ls supervisor.d/

Python supervisor强大的进程管理工具的使用

$ vim server2.py

Python supervisor强大的进程管理工具的使用
​ 

上图的红框的内容,其实就是主配置文件中的第六个框的配置项,只是把它抽出来,形成独立的配置文件,达到分而治之的目的。

以上就配置好了两个子进程,接下来就是跑起来了

3、启动supercisord

$ supervisord -c /usr/loacl/etc/supervisord.ini #注意:要以配置文件的方式开启服务

Python supervisor强大的进程管理工具的使用

上图的现象是因为我已经启动了supervisord进程,下面通过supervisorctl命令行工具进行进程管理

4、使用supervisorctl进行进程管理

进入supervisorctl交互界面,也要以带有配置文件的方式进入,这样才会跟踪到配置

$ supervisorctl -c /usr/local/etc/supervisord.ini

Python supervisor强大的进程管理工具的使用​  

上图的现象是因为我把代码切换到了一个正在开发的分支上

supervisor> help #查看命令

Python supervisor强大的进程管理工具的使用

于是乎,可以根据命令自由地对子进程进行管理。

下表是一些常用的命令:

常用的命令 说明
status 查看当前管理的子进程
reload 当配置发生改变时,进行热部署
restart [program_name] 重启某个子进程
start [program_name] 启动某个子进程

5、可以通过web页面进行进程可视化进程管理

使用浏览器访问127.0.0.1:9001,进入管理可视化界面

Python supervisor强大的进程管理工具的使用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在GitHub Pages上使用Pelican搭建博客的教程
Apr 25 Python
python访问系统环境变量的方法
Apr 29 Python
Python中编写ORM框架的入门指引
Apr 29 Python
Python列表切片用法示例
Apr 19 Python
Python错误处理操作示例
Jul 18 Python
Python I/O与进程的详细讲解
Mar 08 Python
python判断文件夹内是否存在指定后缀文件的实例
Jun 10 Python
PyQt5的安装配置过程,将ui文件转为py文件后显示窗口的实例
Jun 19 Python
python二进制读写及特殊码同步实现详解
Oct 11 Python
python实现多进程按序号批量修改文件名的方法示例
Dec 30 Python
Python 利用OpenCV给照片换底色的示例代码
Aug 03 Python
Python访问Redis的详细操作
Jun 26 Python
python3爬虫学习之数据存储txt的案例详解
Apr 24 #Python
Python3.5面向对象编程图文与实例详解
Apr 24 #Python
Python对ElasticSearch获取数据及操作
Apr 24 #Python
Python3.5面向对象与继承图文实例详解
Apr 24 #Python
Python3.5基础之NumPy模块的使用图文与实例详解
Apr 24 #Python
基于python的ini配置文件操作工具类
Apr 24 #Python
python实现简单日期工具类
Apr 24 #Python
You might like
PHP5.3.1 不再支持ISAPI
2010/01/08 PHP
PHP的AES加密算法完整实例
2016/07/20 PHP
PHP策略模式定义与用法示例
2017/07/27 PHP
微信公众平台开发教程①获取用户Openid及个人信息图文详解
2019/04/10 PHP
4种Windows系统下Laravel框架的开发环境安装及部署方法详解
2020/04/06 PHP
javascript parseInt() 函数的进制转换注意细节
2013/01/08 Javascript
JS自动适应的图片弹窗实例
2013/06/29 Javascript
ion content 滚动到底部会遮住一部分视图的快速解决方法
2016/09/06 Javascript
炫酷的js手风琴效果
2016/10/13 Javascript
vuejs实现本地数据的筛选分页功能思路详解
2017/11/15 Javascript
快速解决brew安装特定版本flow的问题
2018/05/17 Javascript
实例讲解JavaScript预编译流程
2019/01/24 Javascript
Node.js API详解之 V8模块用法实例分析
2020/06/05 Javascript
javascript实现支付宝滑块验证码效果
2020/07/24 Javascript
python处理中文编码和判断编码示例
2014/02/26 Python
windows系统中python使用rar命令压缩多个文件夹示例
2014/05/06 Python
Python多线程编程(二):启动线程的两种方法
2015/04/05 Python
轻松掌握python设计模式之策略模式
2016/11/18 Python
python3利用smtplib通过qq邮箱发送邮件方法示例
2017/12/03 Python
Python使用matplotlib填充图形指定区域代码示例
2018/01/16 Python
Python tkinter事件高级用法实例
2018/01/31 Python
利用python的socket发送http(s)请求方法示例
2018/05/07 Python
Python中的TCP socket写法示例
2018/05/11 Python
python实现整数的二进制循环移位
2019/03/08 Python
django foreignkey(外键)的实现
2019/07/29 Python
Python3实现mysql连接和数据框的形成(实例代码)
2020/01/17 Python
Python 实现PS滤镜中的径向模糊特效
2020/12/03 Python
荷兰鞋类购物网站:Donelli
2019/05/24 全球购物
八年级物理教学反思
2014/01/19 职场文书
班主任经验交流会主持词
2014/04/01 职场文书
理想点亮人生演讲稿
2014/05/21 职场文书
揭牌仪式策划方案
2014/05/28 职场文书
家长会标语
2014/06/24 职场文书
八一建军节慰问信
2015/02/14 职场文书
2015年人力资源工作总结
2015/04/08 职场文书
2015年国庆节标语大全
2015/07/30 职场文书