python logging重复记录日志问题的解决方法


Posted in Python onJuly 12, 2018

日志相关概念

日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外,事件也有重要性的概念,这个重要性也可以被称为严重性级别(level)。

日志的作用

通过log的分析,可以方便用户了解系统或软件、应用的运行情况;如果你的应用log足够丰富,也可以分析以往用户的操作行为、类型喜好、地域分布或其他更多信息;如果一个应用的log同时也分了多个级别,那么可以很轻易地分析得到该应用的健康状况,及时发现问题并快速定位、解决问题,补救损失。

简单来讲就是,我们通过记录和分析日志可以了解一个系统或软件程序运行情况是否正常,也可以在应用程序出现故障时快速定位问题。比如,做运维的同学,在接收到报警或各种问题反馈后,进行问题排查时通常都会先去看各种日志,大部分问题都可以在日志中找到答案。再比如,做开发的同学,可以通过IDE控制台上输出的各种日志进行程序调试。对于运维老司机或者有经验的开发人员,可以快速的通过日志定位到问题的根源。可见,日志的重要性不可小觑。日志的作用可以简单总结为以下3点:

  • 程序调试
  • 了解软件程序运行情况,是否正常
  • 软件程序运行故障分析与问题定位

如果应用的日志信息足够详细和丰富,还可以用来做用户行为分析,如:分析用户的操作行为、类型洗好、地域分布以及其它更多的信息,由此可以实现改进业务、提高商业利益。

发现问题

最近在用Python的logging模块记录日志时,遇到了重复记录日志的问题,第一条记录写一次,第二条记录写两次,第三条记录写三次。。。很头疼,这样记日志可不行。网上搜索到了原因与解决方案:

原因:没有移除handler

解决:在日志记录完之后removeHandler

修改前示例代码:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)

 logger.addHandler(streamhandler)
 logger.error(message)

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

修改前输出结果:

2016-07-08 09:17:29,740 - ERROR - testlog - hi
2016-07-08 09:17:29,740 - ERROR - testlog - hi too
2016-07-08 09:17:29,740 - ERROR - testlog - hi too
2016-07-08 09:17:29,740 - ERROR - testlog - hi three
2016-07-08 09:17:29,740 - ERROR - testlog - hi three
2016-07-08 09:17:29,740 - ERROR - testlog - hi three

修改后示例代码:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)

 logger.addHandler(streamhandler)
 logger.error(message)

 # 添加下面一句,在记录日志之后移除句柄
 logger.removeHandler(streamhandler)

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

修改后输出结果:

2016-07-08 09:32:28,206 - ERROR - testlog - hi
2016-07-08 09:32:28,206 - ERROR - testlog - hi too
2016-07-08 09:32:28,206 - ERROR - testlog - hi three

深度解析:

Google之后,大概搞明白了,就是你第二次调用log的时候,根据getLogger(name)里的name获取同一个logger,而这个logger里已经有了第一次你添加的handler,第二次调用又添加了一个handler,所以,这个logger里有了两个同样的handler,以此类推,调用几次就会有几个handler。。

所以这里有以下几个解决办法:

  • 每次创建不同name的logger,每次都是新logger,不会有添加多个handler的问题。(ps:这个办法太笨,不过我之前就是这么干的。。)
  • 像上面一样每次记录完日志之后,调用removeHandler()把这个logger里的handler移除掉。
  • 在log方法里做判断,如果这个logger已有handler,则不再添加handler。
  • 与方法2一样,不过把用pop把logger的handler列表中的handler移除。

下面是方法3与方法4的代码示例:

方法3:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 # 这里进行判断,如果logger.handlers列表为空,则添加,否则,直接去写日志
 if not logger.handlers:
 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)
 logger.addHandler(streamhandler)

 logger.error(message)

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

方法4:

import logging

def log(message):
 logger = logging.getLogger('testlog')

 streamhandler = logging.StreamHandler()
 streamhandler.setLevel(logging.ERROR)
 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
 streamhandler.setFormatter(formatter)

 logger.addHandler(streamhandler)

 logger.error(message)

 # 用pop方法把logger.handlers列表中的handler移除,注意如果你add了多个handler,这里需多次pop,或者可以直接为handlers列表赋空值
 logger.handlers.pop()
 # logger.handler = []

if __name__ == '__main__':
 log('hi')
 log('hi too')
 log('hi three')

这几种方法都亲试可行,个人觉得方法3判断更加优雅,你觉得呢?

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python将字符串转换成数组的方法
Apr 29 Python
用tensorflow实现弹性网络回归算法
Jan 09 Python
python3.6+opencv3.4实现鼠标交互查看图片像素
Feb 26 Python
Python实现查看系统启动项功能示例
May 10 Python
python中单下划线_的常见用法总结
Jul 10 Python
Python中一些深不见底的“坑”
Jun 12 Python
python如何获取apk的packagename和activity
Jan 10 Python
python3实现网页版raspberry pi(树莓派)小车控制
Feb 12 Python
pycharm中导入模块错误时提示Try to run this command from the system terminal
Mar 26 Python
python实现PolynomialFeatures多项式的方法
Jan 06 Python
Python数据分析之pandas函数详解
Apr 21 Python
Pytest中conftest.py的用法
Jun 27 Python
python 读写文件,按行修改文件的方法
Jul 12 #Python
Python实现的网页截图功能【PyQt4与selenium组件】
Jul 12 #Python
python基础学习之如何对元组各个元素进行命名详解
Jul 12 #Python
详解Python中的分组函数groupby和itertools)
Jul 11 #Python
Python中的groupby分组功能的实例代码
Jul 11 #Python
python中实现字符串翻转的方法
Jul 11 #Python
Python3.7中安装openCV库的方法
Jul 11 #Python
You might like
PHP下编码转换函数mb_convert_encoding与iconv的使用说明
2009/12/16 PHP
php中日期加减法运算实现代码
2011/12/08 PHP
PHP提示Cannot modify header information - headers already sent by解决方法
2014/09/22 PHP
统计出现最多的字符次数的js代码
2010/12/03 Javascript
js触发asp.net的Button的Onclick事件应用
2013/02/02 Javascript
排序算法的javascript实现与讲解(99js手记)
2014/09/28 Javascript
js发送短信倒计时的简单实现方法
2016/09/08 Javascript
vue制作加载更多功能的正确打开方式
2016/10/12 Javascript
JS实现类似百叶窗下拉菜单效果
2016/12/30 Javascript
深入浅析ES6 Class 中的 super 关键字
2017/10/20 Javascript
在ES5与ES6环境下处理函数默认参数的实现方法
2018/05/13 Javascript
vue 双向数据绑定的实现学习之监听器的实现方法
2018/11/30 Javascript
Python3 入门教程 简单但比较不错
2009/11/29 Python
Python中设置变量作为默认值时容易遇到的错误
2015/04/03 Python
Python打印斐波拉契数列实例
2015/07/07 Python
Python入门之三角函数sin()函数实例详解
2017/11/08 Python
matplotlib中legend位置调整解析
2017/12/19 Python
Python语言描述机器学习之Logistic回归算法
2017/12/21 Python
分享Python切分字符串的一个不错方法
2018/12/14 Python
基于Django ORM、一对一、一对多、多对多的全面讲解
2019/07/26 Python
python实现身份证实名认证的方法实例
2019/11/08 Python
python实现二分类的卡方分箱示例
2019/11/22 Python
Pandas+Matplotlib 箱式图异常值分析示例
2019/12/09 Python
Python 实现劳拉游戏的实例代码(四连环、重力四子棋)
2021/03/03 Python
美国卡车、吉普车和SUV零件网站:4 Wheel Parts
2016/11/24 全球购物
viagogo法国票务平台:演唱会、体育比赛、戏剧门票
2017/03/27 全球购物
Airbnb爱彼迎官网:成为爱彼迎房东,赚取收入
2019/03/14 全球购物
汽修专业学生自我鉴定
2013/11/16 职场文书
服装设计专业自荐书范文
2013/12/30 职场文书
创业计划书——互联网商机
2014/01/12 职场文书
职务聘任书范文
2014/03/29 职场文书
工程售后服务承诺书
2014/05/21 职场文书
志愿者事迹材料
2014/12/26 职场文书
追悼会答谢词范文
2015/09/29 职场文书
golang中的空slice案例
2021/04/27 Golang
css3 利用transform-origin 实现圆点分布在大圆上布局及旋转特效
2021/04/29 HTML / CSS