使用Python实现一个简单的项目监控


Posted in Python onMarch 31, 2015

在公司里做的一个接口系统,主要是对接第三方的系统接口,所以,这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题,这么多公司的接口,不同公司接口的稳定性差别很大,访问量大的时候,有的不怎么行的接口就各种出错了。

这个接口系统刚刚开发不久,整个系统中,处于比较边缘的位置,不像其他项目,有日志库,还有短信告警,一旦出问题,很多情况下都是用户反馈回来,所以,我的想法是,拿起python,为这个项目写一个监控。如果在调用某个第三方接口的过程中,大量出错了,说明这个接口有有问题了,就可以更快的采取措施。

项目的也是有日志库的,所有的info,error日志都是每隔一分钟扫描入库,日志库是用的mysql,表里有几个特别重要的字段:

  •         level 日志级别
  •         message 日志内容
  •         file_name Java代码文件
  •         log_time 日志时间

有日志库,就不用自己去线上环境扫日志分析了,直接从日志库入手。由于日志库在线上时每隔1分钟扫,那我就去日志库每隔2分钟扫一次,如果扫到有一定数量的error日志就报警,如果只有一两条错误就可以无视了,也就是短时间爆发大量错误日志,就可以断定系统有问题了。报警方式就用发送邮件,所以,需要做下面几件事情:
1. 操作MySql。
2. 发送邮件。
3. 定时任务。
4. 日志。
5. 运行脚本。

明确了以上几件事情,就可以动手了。
操作数据库

使用MySQLdb这个驱动,直接操作数据库,主要就是查询操作。
获取数据库的连接:
 

def get_con():
 host = "127.0.0.1"
 port = 3306
 logsdb = "logsdb"
 user = "root"
 password = "never tell you"
 con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb, port=port, charset="utf8")
 return con

从日志库里获取数据,获取当前时间之前2分钟的数据,首先,根据当前时间进行计算一下时间。之前,计算有问题,现在已经修改。
 

def calculate_time():
 
 now = time.mktime(datetime.now().timetuple())-60*2
 result = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))
 return result

然后,根据时间和日志级别去日志库查询数据
 

def get_data():
 select_time = calculate_time()
 logger.info("select time:"+select_time)
 sql = "select file_name,message from logsdb.app_logs_record " \
   "where log_time >"+"'"+select_time+"'" \
   "and level="+"'ERROR'" \
   "order by log_time desc"
 conn = get_con()
 
 cursor = conn.cursor()
 cursor.execute(sql)
 results = cursor.fetchall()
 
 cursor.close()
 conn.close()
 
 return results

发送邮件

使用python发送邮件比较简单,使用标准库smtplib就可以
这里使用163邮箱进行发送,你可以使用其他邮箱或者企业邮箱都行,不过host和port要设置正确。
 

def send_email(content):
 
sender = "sender_monitor@163.com"
receiver = ["rec01@163.com", "rec02@163.com"]
host = 'smtp.163.com'
port = 465
msg = MIMEText(content)
msg['From'] = "sender_monitor@163.com"
msg['To'] = "rec01@163.com,rec02@163.com"
msg['Subject'] = "system error warning"
 
try:
smtp = smtplib.SMTP_SSL(host, port)
smtp.login(sender, '123456')
smtp.sendmail(sender, receiver, msg.as_string())
logger.info("send email success")
except Exception, e:
logger.error(e)

定时任务

使用一个单独的线程,每2分钟扫描一次,如果ERROR级别的日志条数超过5条,就发邮件通知。
 

def task():
while True:
logger.info("monitor running")
 
results = get_data()
if results is not None and len(results) > 5:
content = "recharge error:"
logger.info("a lot of error,so send mail")
for r in results:
content += r[1]+'\n'
send_email(content)
sleep(2*60)

日志

为这个小小的脚本配置一下日志log.py,让日志可以输出到文件和控制台中。

# coding=utf-8
import logging
 
logger = logging.getLogger('mylogger')
logger.setLevel(logging.DEBUG)
 
fh = logging.FileHandler('monitor.log')
fh.setLevel(logging.INFO)
 
ch = logging.StreamHandler()
ch.setLevel(logging.INFO)
 
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)
ch.setFormatter(formatter)
 
logger.addHandler(fh)
logger.addHandler(ch)

所以,最后,这个监控小程序就是这样的app_monitor.py

# coding=utf-8
import threading
import MySQLdb
from datetime import datetime
import time
import smtplib
from email.mime.text import MIMEText
from log import logger
 
 
def get_con():
 host = "127.0.0.1"
 port = 3306
 logsdb = "logsdb"
 user = "root"
 password = "never tell you"
 con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb, port=port, charset="utf8")
 return con
 
 
def calculate_time():
 
 now = time.mktime(datetime.now().timetuple())-60*2
 result = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))
 return result
 
 
def get_data():
 select_time = calculate_time()
 logger.info("select time:"+select_time)
 sql = "select file_name,message from logsdb.app_logs_record " \
   "where log_time >"+"'"+select_time+"'" \
   "and level="+"'ERROR'" \
   "order by log_time desc"
 conn = get_con()
 
 cursor = conn.cursor()
 cursor.execute(sql)
 results = cursor.fetchall()
 
 cursor.close()
 conn.close()
 
 return results
 
 
def send_email(content):
 
 sender = "sender_monitor@163.com"
 receiver = ["rec01@163.com", "rec02@163.com"]
 host = 'smtp.163.com'
 port = 465
 msg = MIMEText(content)
 msg['From'] = "sender_monitor@163.com"
 msg['To'] = "rec01@163.com,rec02@163.com"
 msg['Subject'] = "system error warning"
 
 try:
  smtp = smtplib.SMTP_SSL(host, port)
  smtp.login(sender, '123456')
  smtp.sendmail(sender, receiver, msg.as_string())
  logger.info("send email success")
 except Exception, e:
  logger.error(e)
 
 
def task():
 while True:
  logger.info("monitor running")
  results = get_data()
  if results is not None and len(results) > 5:
   content = "recharge error:"
   logger.info("a lot of error,so send mail")
   for r in results:
    content += r[1]+'\n'
   send_email(content)
  time.sleep(2*60)
 
 
def run_monitor():
 monitor = threading.Thread(target=task)
 monitor.start()
 
 
if __name__ == "__main__":
 run_monitor()

运行脚本

脚本在服务器上运行,使用supervisor进行管理。
在服务器(centos6)上安装supervisor,然后在/etc/supervisor.conf中加入一下配置:

[program:app-monitor]

command = python /root/monitor/app_monitor.py

directory = /root/monitor

user = root

然后在终端中运行supervisord启动supervisor。
在终端中运行supervisorctl,进入shell,运行status查看脚本的运行状态。
总结

这个小监控思路很清晰,还可以继续修改,比如:监控特定的接口,发送短信通知等等。
因为有日志库,就少了去线上正式环境扫描日志的麻烦,所以,如果没有日志库,就要自己上线上环境扫描,在正式线上环境一定要小心哇~

Python 相关文章推荐
使用python搭建Django应用程序步骤及版本冲突问题解决
Nov 19 Python
使用Python的Twisted框架编写简单的网络客户端
Apr 16 Python
Python求导数的方法
May 09 Python
详解Python的Django框架中的模版相关知识
Jul 15 Python
Python使用requests及BeautifulSoup构建爬虫实例代码
Jan 24 Python
win7+Python3.5下scrapy的安装方法
Jul 31 Python
Python实现批量修改图片格式和大小的方法【opencv库与PIL库】
Dec 03 Python
python五子棋游戏的设计与实现
Jun 18 Python
python利用itertools生成密码字典并多线程撞库破解rar密码
Aug 12 Python
python实现滑雪者小游戏
Feb 22 Python
python 6种方法实现单例模式
Dec 15 Python
教你如何用python开发一款数字推盘小游戏
Apr 14 Python
详解Python中内置的NotImplemented类型的用法
Mar 31 #Python
python计算N天之后日期的方法
Mar 31 #Python
使用Python3中的gettext模块翻译Python源码以支持多语言
Mar 31 #Python
python根据出生日期获得年龄的方法
Mar 31 #Python
用Python进行一些简单的自然语言处理的教程
Mar 31 #Python
用Python制作在地图上模拟瘟疫扩散的Gif图
Mar 31 #Python
以一段代码为实例快速入门Python2.7
Mar 31 #Python
You might like
咖啡豆分级制度 咖啡豆等级分类 咖啡豆是按口感分类的吗?
2021/03/05 新手入门
使ecshop模板中可引用常量的实现方法
2011/06/02 PHP
6种php上传图片重命名的方法实例
2013/11/04 PHP
Thinkphp3.2简单解决多文件上传只上传一张的问题
2017/09/26 PHP
laravel框架语言包拓展实现方法分析
2019/11/22 PHP
Javascript实现的分页函数
2007/02/07 Javascript
JavaScript让IE浏览器event对象符合W3C DOM标准
2009/11/24 Javascript
JS代码放在head和body中的区别分析
2011/12/01 Javascript
JavaScript中几个重要的属性(this、constructor、prototype)介绍
2013/05/19 Javascript
图片上传插件jquery.uploadify详解
2013/11/15 Javascript
采用自执行的匿名函数解决for循环使用闭包的问题
2014/09/11 Javascript
JavaScript中停止执行setInterval和setTimeout事件的方法
2015/05/14 Javascript
基于Jquery和html5的7款个性化地图插件
2015/11/17 Javascript
JavaScript正则表达式匹配 div  style标签
2016/03/15 Javascript
jQuery插件HighCharts绘制2D带有Legend的饼图效果示例【附demo源码下载】
2017/03/10 Javascript
深入nodejs中流(stream)的理解
2017/03/27 NodeJs
ES6学习之变量的两种命名方法示例
2017/07/18 Javascript
不使用 JS 匿名函数理由
2017/11/17 Javascript
浅谈node模块与npm包管理工具
2018/01/03 Javascript
详解Vue2.0配置mint-ui踩过的那些坑
2018/04/23 Javascript
使用Vue.js 和Chart.js制作绚丽多彩的图表
2019/06/15 Javascript
Vue数字输入框组件使用方法详解
2020/02/10 Javascript
vue实现移动端H5数字键盘组件使用详解
2020/08/25 Javascript
Python字典循环添加一键多值的用法实例
2019/01/20 Python
Python生成rsa密钥对操作示例
2019/04/26 Python
Matplotlib使用字符串代替变量绘制散点图的方法
2020/02/17 Python
基于python实现判断字符串是否数字算法
2020/07/10 Python
结合CSS3的新特性来总结垂直居中的实现方法
2016/05/30 HTML / CSS
CSS3实现头像旋转效果
2017/03/13 HTML / CSS
mui几种页面跳转方式对比总结概括
2017/08/18 HTML / CSS
德国电子商城:ComputerUniverse
2017/04/21 全球购物
给领导的检讨书
2014/02/16 职场文书
C++程序员求职信
2014/05/07 职场文书
工厂车间标语
2014/06/19 职场文书
先进集体事迹材料范文
2014/12/25 职场文书
国庆节主题班会
2015/08/15 职场文书