python logging重复记录日志问题的解决方法


Posted in Python onJuly 12, 2018

日志相关概念

日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外,事件也有重要性的概念,这个重要性也可以被称为严重性级别(level)。

日志的作用

通过log的分析,可以方便用户了解系统或软件、应用的运行情况;如果你的应用log足够丰富,也可以分析以往用户的操作行为、类型喜好、地域分布或其他更多信息;如果一个应用的log同时也分了多个级别,那么可以很轻易地分析得到该应用的健康状况,及时发现问题并快速定位、解决问题,补救损失。

简单来讲就是,我们通过记录和分析日志可以了解一个系统或软件程序运行情况是否正常,也可以在应用程序出现故障时快速定位问题。比如,做运维的同学,在接收到报警或各种问题反馈后,进行问题排查时通常都会先去看各种日志,大部分问题都可以在日志中找到答案。再比如,做开发的同学,可以通过IDE控制台上输出的各种日志进行程序调试。对于运维老司机或者有经验的开发人员,可以快速的通过日志定位到问题的根源。可见,日志的重要性不可小觑。日志的作用可以简单总结为以下3点:

  • 程序调试
  • 了解软件程序运行情况,是否正常
  • 软件程序运行故障分析与问题定位

如果应用的日志信息足够详细和丰富,还可以用来做用户行为分析,如:分析用户的操作行为、类型洗好、地域分布以及其它更多的信息,由此可以实现改进业务、提高商业利益。

发现问题

最近在用Python的logging模块记录日志时,遇到了重复记录日志的问题,第一条记录写一次,第二条记录写两次,第三条记录写三次。。。很头疼,这样记日志可不行。网上搜索到了原因与解决方案:

原因:没有移除handler

解决:在日志记录完之后removeHandler

修改前示例代码:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)

 logger.addHandler(streamhandler)
 logger.error(message)

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

修改前输出结果:

2016-07-08 09:17:29,740 - ERROR - testlog - hi
2016-07-08 09:17:29,740 - ERROR - testlog - hi too
2016-07-08 09:17:29,740 - ERROR - testlog - hi too
2016-07-08 09:17:29,740 - ERROR - testlog - hi three
2016-07-08 09:17:29,740 - ERROR - testlog - hi three
2016-07-08 09:17:29,740 - ERROR - testlog - hi three

修改后示例代码:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)

 logger.addHandler(streamhandler)
 logger.error(message)

 # 添加下面一句,在记录日志之后移除句柄
 logger.removeHandler(streamhandler)

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

修改后输出结果:

2016-07-08 09:32:28,206 - ERROR - testlog - hi
2016-07-08 09:32:28,206 - ERROR - testlog - hi too
2016-07-08 09:32:28,206 - ERROR - testlog - hi three

深度解析:

Google之后,大概搞明白了,就是你第二次调用log的时候,根据getLogger(name)里的name获取同一个logger,而这个logger里已经有了第一次你添加的handler,第二次调用又添加了一个handler,所以,这个logger里有了两个同样的handler,以此类推,调用几次就会有几个handler。。

所以这里有以下几个解决办法:

  • 每次创建不同name的logger,每次都是新logger,不会有添加多个handler的问题。(ps:这个办法太笨,不过我之前就是这么干的。。)
  • 像上面一样每次记录完日志之后,调用removeHandler()把这个logger里的handler移除掉。
  • 在log方法里做判断,如果这个logger已有handler,则不再添加handler。
  • 与方法2一样,不过把用pop把logger的handler列表中的handler移除。

下面是方法3与方法4的代码示例:

方法3:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 # 这里进行判断,如果logger.handlers列表为空,则添加,否则,直接去写日志
 if not logger.handlers:
 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)
 logger.addHandler(streamhandler)

 logger.error(message)

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

方法4:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)

 logger.addHandler(streamhandler)

 logger.error(message)

 # 用pop方法把logger.handlers列表中的handler移除,注意如果你add了多个handler,这里需多次pop,或者可以直接为handlers列表赋空值
 logger.handlers.pop()
 # logger.handler = []

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

这几种方法都亲试可行,个人觉得方法3判断更加优雅,你觉得呢?

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Java多线程编程中ThreadLocal类的用法及深入
Jun 21 Python
Python 中 list 的各项操作技巧
Apr 13 Python
利用python将图片转换成excel文档格式
Dec 30 Python
Python延时操作实现方法示例
Aug 14 Python
selenium在执行phantomjs的API并获取执行结果的方法
Dec 17 Python
react+django清除浏览器缓存的几种方法小结
Jul 17 Python
浅谈django url请求与数据库连接池的共享问题
Aug 29 Python
提升python处理速度原理及方法实例
Dec 25 Python
什么是Python变量作用域
Jun 03 Python
python 爬取免费简历模板网站的示例
Sep 27 Python
Python SQLAlchemy库的使用方法
Oct 13 Python
Django中使用Celery的方法步骤
Dec 07 Python
python 读写文件,按行修改文件的方法
Jul 12 #Python
Python实现的网页截图功能【PyQt4与selenium组件】
Jul 12 #Python
python基础学习之如何对元组各个元素进行命名详解
Jul 12 #Python
详解Python中的分组函数groupby和itertools)
Jul 11 #Python
Python中的groupby分组功能的实例代码
Jul 11 #Python
python中实现字符串翻转的方法
Jul 11 #Python
Python3.7中安装openCV库的方法
Jul 11 #Python
You might like
PHP生成月历代码
2007/06/14 PHP
php实现的美国50个州选择列表实例
2015/04/20 PHP
Laravel基础-关于引入公共文件的两种方式
2019/10/18 PHP
extjs DataReader、JsonReader、XmlReader的构造方法
2009/11/07 Javascript
js操作二级联动实现代码
2010/07/27 Javascript
js监听鼠标点击和键盘点击事件并自动跳转页面
2014/09/24 Javascript
jQuery菜单插件superfish使用指南
2015/04/21 Javascript
jquery实现适用于门户站的导航下拉菜单效果代码
2015/08/24 Javascript
基于jquery实现轮播焦点图插件
2016/03/31 Javascript
Bootstrap CSS布局之图像
2016/12/17 Javascript
简单实现nodejs上传功能
2017/01/14 NodeJs
微信小程序 本地图片按照屏幕尺寸处理
2017/08/04 Javascript
vue小图标favicon不显示的解决方案
2017/09/19 Javascript
jQuery+CSS实现的标签页效果示例【测试可用】
2018/08/14 jQuery
使用iView Upload 组件实现手动上传图片的示例代码
2018/10/01 Javascript
迅速了解一下ES10中Object.fromEntries的用法使用
2019/03/05 Javascript
[01:51]2018年度CS GO最具人气外援-完美盛典
2018/12/16 DOTA
python 写的一个爬虫程序源码
2016/02/28 Python
详解python深浅拷贝区别
2019/06/24 Python
Django 1.10以上版本 url 配置注意事项详解
2019/08/05 Python
django中间键重定向实例方法
2019/11/10 Python
Python如何使用argparse模块处理命令行参数
2019/12/11 Python
Python 实现将数组/矩阵转换成Image类
2020/01/09 Python
Python数据模型与Python对象模型的相关总结
2021/01/26 Python
环境科学毕业生自荐信
2013/11/21 职场文书
大学考试作弊检讨书
2014/01/30 职场文书
审计局班子四风对照检查材料思想汇报
2014/10/07 职场文书
领导班子群众路线与四风问题对照检查材料思想汇报
2014/10/11 职场文书
教师个人工作总结范文2014
2014/11/10 职场文书
西岭雪山导游词
2015/02/06 职场文书
检察院起诉意见书
2015/05/20 职场文书
圣诞晚会主持词
2015/07/01 职场文书
英语投诉信范文
2015/07/03 职场文书
网络研修随笔感言
2015/11/18 职场文书
2016年九九重阳节活动总结
2016/04/01 职场文书
高中议论文(范文2篇)
2019/08/19 职场文书