使用Python的Supervisor进行进程监控以及自动启动


Posted in Python onMay 29, 2014

做服务器端开发的同学应该都对进程监控不会陌生,最近恰好要更换 uwsgi 为 gunicorn,而gunicorn又恰好有这么一章讲进程监控,所以多研究了下。

结合之前在腾讯工作的经验,也会讲讲腾讯的服务器监控是怎么做的。同时也会讲下小团队又该怎么敏捷的解决。

下面按照监控的方法依次介绍。

一、按照进程名监控

在腾讯内部所有server都是要打包发布的,而在打包过程中是需要填写要监控的进程名,然后在crontab中定时通过ps查询进程是否存在。

这种方法是比较简单的方法,但是考虑到很多进程会在启动之后改名,以及进程名存在各种特殊字符,多个进程同时存在的问题,实际操作起来并不是很舒服。

举个简单的例子,gunicorn启动之后的进程名类似这样 master: [wsgi:app],其中的方括号在grep时要记得转义,否则就会出问题。

不过不管怎么说,这种方法在很多其他方式用不了的时候反而是最简单的方法。

下面是用python的实现:

def monitor_process(key_word, cmd):
    p1 = subprocess.Popen(['ps', '-ef'], stdout=subprocess.PIPE)
    p2 = subprocess.Popen(['grep', key_word], stdin=p1.stdout, stdout=subprocess.PIPE)
    p3 = subprocess.Popen(['grep', '-v', 'grep'], stdin=p2.stdout, stdout=subprocess.PIPE)
    lines = p3.stdout.readlines()
    if len(lines) > 0:
        return
    sys.stderr.write('process[%s] is lost, run [%s]\n' % (key_word, cmd))
    subprocess.call(cmd, shell=True)

二、按照端口监控

这种方式之前在腾讯打包的时候也有用,但是可能是进程名更直观的原因吧,貌似一直没怎么用起来。

不过现在自己在做包部署的时候,反而觉得端口监控是个最靠谱的事情了。这个也没什么好多说的,直接上刚写完的python代码:

def monitor_port(protocol, port, cmd):
    address = ('127.0.0.1', port)
    socket_type = socket.SOCK_STREAM if protocol == 'tcp' else socket.SOCK_DGRAM
    client = socket.socket(socket.AF_INET, socket_type)
    try:
        client.bind(address)
    except Exception, e:
        pass
    else:
        sys.stderr.write('port[%s-%s] is lost, run [%s]\n' % (protocol, port, cmd))
        subprocess.call(cmd, shell=True)
    finally:
        client.close()

有的朋友可能说对于tcp端口检查,其实以client的方式来connect()看是否成功会不会更好?其实我觉得这种方式也挺好的,并且对于不同的协议可以再深入处理一下,比如对http协议可以用urllib2.urlopen确保返回正确的包才算正常。不过如果这么做的话,就有点偏黑盒监控 了,比如监控宝、阿里云监控之类的服务了。

三、通过监控server启动进程,并以监控子进程的方式监控

这个也是在gunicorn页面上看到的,说起来gunicorn很不厚道的把gaffer放到第一个,让我还以为是个很成熟的产品,结果发现连启动都是个问题。

相反排在后面的supervisor反而相当的好用,下面是截图:

使用Python的Supervisor进行进程监控以及自动启动

supervisor可以很方便的管理进程,包括重启,停止等等,而且提供了web界面和用户验证,可以很方便的在线管理。

但是有好处就有坏处,用了supervisor之后,就不能自己随便的去自己重启服务了,否则会影响supervisor的监控,这对我这种喜欢自己执行 xx.sh restart 的人实在有点太痛苦了。当然,其实要是习惯了去supervisorctl 里面start/stop/reload 之后也就还好了。

用supervisor配置gunicorn的配置项如下:

[program:yuanzhaopin]
environment=PYTHON_EGG_CACHE=/tmp/.python-eggs/,PYTHONPATH=/data/release/yuanzhaopin
command=/usr/local/bin/gunicorn --debug --log-level debug --log-file /tmp/g.log wsgi:app
user=zny2008
autorestart=true
redirect_stderr=true

ok,目前自己常用的就是这几种模式了,大家如果有其他选择欢迎留言讨论。

完整代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#*/1 * * * * python /xxx/monitor.py >> /xxx/logs/monitor.log 2>&1  &
import sys
import subprocess
import os.path as op
import socket
def this_abs_path(script_name):
    return op.abspath(op.join(op.dirname(__file__), script_name))

def monitor_process(key_word, cmd):
    p1 = subprocess.Popen(['ps', '-ef'], stdout=subprocess.PIPE)
    p2 = subprocess.Popen(['grep', key_word], stdin=p1.stdout, stdout=subprocess.PIPE)
    p3 = subprocess.Popen(['grep', '-v', 'grep'], stdin=p2.stdout, stdout=subprocess.PIPE)
    lines = p3.stdout.readlines()
    if len(lines) > 0:
        return
    sys.stderr.write('process[%s] is lost, run [%s]\n' % (key_word, cmd))
    subprocess.call(cmd, shell=True)

def monitor_port(protocol, port, cmd):
    address = ('127.0.0.1', port)
    socket_type = socket.SOCK_STREAM if protocol == 'tcp' else socket.SOCK_DGRAM
    client = socket.socket(socket.AF_INET, socket_type)
    try:
        client.bind(address)
    except Exception, e:
        pass
    else:
        sys.stderr.write('port[%s-%s] is lost, run [%s]\n' % (protocol, port, cmd))
        subprocess.call(cmd, shell=True)
    finally:
        client.close()

#=============================================================================
def yuanzhaopin():
    cmd = '%s start' % this_abs_path('gun.sh')
    #monitor_process('\[yuanzhaopin\]', cmd)
    monitor_port('tcp', 8635, cmd)

def main():
    yuanzhaopin()

if __name__ == '__main__':
    main()
Python 相关文章推荐
python中argparse模块用法实例详解
Jun 03 Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 Python
python爬虫 使用真实浏览器打开网页的两种方法总结
Apr 21 Python
Python爬虫使用脚本登录Github并查看信息
Jul 16 Python
Python线程同步的实现代码
Oct 03 Python
python3通过selenium爬虫获取到dj商品的实例代码
Apr 25 Python
对python3 sort sorted 函数的应用详解
Jun 27 Python
python+opencv实现车牌定位功能(实例代码)
Dec 24 Python
python使用pywinauto驱动微信客户端实现公众号爬虫
May 19 Python
python 实现图与图之间的间距调整subplots_adjust
May 21 Python
一劳永逸彻底解决pip install慢的办法
May 24 Python
用Python实现一个打字速度测试工具来测试你的手速
May 28 Python
python应用程序在windows下不出现cmd窗口的办法
May 29 #Python
python正则表达式re模块详细介绍
May 29 #Python
在python中的socket模块使用代理实例
May 29 #Python
python中stdout输出不缓存的设置方法
May 29 #Python
python两种遍历字典(dict)的方法比较
May 29 #Python
python中常用的各种数据库操作模块和连接实例
May 29 #Python
从零学Python之入门(五)缩进和选择
May 27 #Python
You might like
深入apache配置文件httpd.conf的部分参数说明
2013/06/28 PHP
PHP之正则表达式捕获组与非捕获组(详解)
2015/07/29 PHP
php支付宝在线支付接口开发教程
2016/09/19 PHP
PHP xpath提取网页数据内容代码解析
2020/07/16 PHP
ExtJS4中使用mixins实现多继承示例
2013/12/03 Javascript
js关于字符长度限制的问题示例探讨
2014/01/24 Javascript
JavaScript编程中容易出BUG的几点小知识
2015/01/31 Javascript
jQuery实现仿美橙互联两级导航菜单的方法
2015/03/09 Javascript
js运动动画的八个知识点
2015/03/12 Javascript
浅析js中substring和substr的方法
2015/11/09 Javascript
基于javascript实现表格的简单操作
2016/05/21 Javascript
BootStrap学习笔记之nav导航栏和面包屑导航
2017/01/03 Javascript
Bootstrap 3 按钮标签实例代码
2017/02/21 Javascript
javascript定时器取消定时器及优化方法
2017/07/08 Javascript
Vue.js上下滚动加载组件的实例代码
2017/07/17 Javascript
Bootstrap 模态框多次显示后台提交多次BUG的解决方法
2017/12/26 Javascript
vue展示dicom文件医疗系统的实现代码
2018/08/27 Javascript
解决vue 项目引入字体图标报错、不显示等问题
2018/09/01 Javascript
layui关闭层级、简单监听的实例
2019/09/06 Javascript
详解JavaScript中的链式调用
2020/11/27 Javascript
Python使用Supervisor来管理进程的方法
2015/05/28 Python
初探TensorFLow从文件读取图片的四种方式
2018/02/06 Python
详解python校验SQL脚本命名规则
2019/03/22 Python
python+webdriver自动化环境搭建步骤详解
2019/06/03 Python
win10子系统python开发环境准备及kenlm和nltk的使用教程
2019/10/14 Python
Keras 利用sklearn的ROC-AUC建立评价函数详解
2020/06/15 Python
OpenCV利用python来实现图像的直方图均衡化
2020/10/21 Python
如何用用Python将地址标记在地图上
2021/02/07 Python
中国一家专注拼团的社交购物网站:拼多多
2018/06/13 全球购物
军训考核自我鉴定
2014/02/13 职场文书
教师节感恩老师演讲稿
2014/08/28 职场文书
2014学习十八届四中全会精神思想汇报范文
2014/10/23 职场文书
社区党风廉政建设调研报告
2015/01/01 职场文书
护士心得体会范文
2016/01/25 职场文书
Windows安装Anaconda3的方法及使用过程详解
2021/06/11 Python
python的netCDF4批量处理NC格式文件的操作方法
2022/03/21 Python