python logging 日志轮转文件不删除问题的解决方法


Posted in Python onAugust 02, 2016

前言

最近在维护项目的python项目代码,项目使用了 python 的日志模块 logging, 设定了保存的日志数目, 不过没有生效,还要通过contab定时清理数据。

分析

项目使用了 logging 的 TimedRotatingFileHandler :

#!/user/bin/env python
# -*- coding: utf-8 -*-

import logging
from logging.handlers import TimedRotatingFileHandler
log = logging.getLogger()
file_name = "./test.log"
logformatter = logging.Formatter('%(asctime)s [%(levelname)s]|%(message)s')
loghandle = TimedRotatingFileHandler(file_name, 'midnight', 1, 2)
loghandle.setFormatter(logformatter)
loghandle.suffix = '%Y%m%d'
log.addHandler(loghandle)
log.setLevel(logging.DEBUG)

log.debug("init successful")

参考 python logging 的官方文档:

https://docs.python.org/2/library/logging.html

查看其 入门 实例,可以看到使用按时间轮转的相关内容:

import logging

# create logger
logger = logging.getLogger('simple_example')
logger.setLevel(logging.DEBUG)

# create console handler and set level to debug
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

# create formatter
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# add formatter to ch
ch.setFormatter(formatter)

# add ch to logger
logger.addHandler(ch)

# 'application' code
logger.debug('debug message')

粗看下,也看不出有什么不对的地方。

那就看下logging的代码,找到TimedRotatingFileHandler 相关的内容,其中删除过期日志的内容:

logging/handlers.py

def getFilesToDelete(self):
  """
  Determine the files to delete when rolling over.

  More specific than the earlier method, which just used glob.glob().
  """
  dirName, baseName = os.path.split(self.baseFilename)
  fileNames = os.listdir(dirName)
  result = []
  prefix = baseName + "."
  plen = len(prefix)
  for fileName in fileNames:
   if fileName[:plen] == prefix:
    suffix = fileName[plen:]
    if self.extMatch.match(suffix):
     result.append(os.path.join(dirName, fileName))
  result.sort()
  if len(result) < self.backupCount:
   result = []
  else:
   result = result[:len(result) - self.backupCount]
  return result

轮转删除的原理,是查找到日志目录下,匹配suffix后缀的文件,加入到删除列表,如果超过了指定的数目就加入到要删除的列表中,再看下匹配的原理:

elif self.when == 'D' or self.when == 'MIDNIGHT':
   self.interval = 60 * 60 * 24 # one day
   self.suffix = "%Y-%m-%d"
   self.extMatch = r"^\d{4}-\d{2}-\d{2}$"

exMatch 是一个正则的匹配,格式是 - 分隔的时间,而我们自己设置了新的suffix没有 - 分隔:

loghandle.suffix = '%Y%m%d'
这样就找不到要删除的文件,不会删除相关的日志。

总结

1. 封装好的库,尽量使用公开的接口,不要随便修改内部变量;

2. 代码有问题地,实在找不到原因,可以看下代码。

Python 相关文章推荐
python文件比较示例分享
Jan 10 Python
python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础操作方法
Sep 13 Python
对Python 3.2 迭代器的next函数实例讲解
Oct 18 Python
Pycharm 2019 破解激活方法图文详解
Oct 11 Python
python实现tail -f 功能
Jan 17 Python
python 解决tqdm模块不能单行显示的问题
Feb 19 Python
python selenium操作cookie的实现
Mar 18 Python
解决django xadmin主题不显示和只显示bootstrap2的问题
Mar 30 Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 Python
python+django+selenium搭建简易自动化测试
Aug 19 Python
如何从csv文件构建Tensorflow的数据集
Sep 21 Python
django使用多个数据库的方法实例
Mar 04 Python
python中的字典使用分享
Jul 31 #Python
Python随机生成数据后插入到PostgreSQL
Jul 28 #Python
python3新特性函数注释Function Annotations用法分析
Jul 28 #Python
python中的格式化输出用法总结
Jul 28 #Python
Python中字符串的常见操作技巧总结
Jul 28 #Python
Python中不同进制的语法及转换方法分析
Jul 27 #Python
深入理解Python装饰器
Jul 27 #Python
You might like
PHP获取网址的顶级域名函数代码
2012/09/24 PHP
php动态变量定义及使用
2015/06/10 PHP
php实现带读写分离功能的MySQL类完整实例
2016/07/28 PHP
使用PHP免费发送定时短信的实例
2016/10/24 PHP
PHP parse_ini_file函数的应用与扩展操作示例
2019/01/07 PHP
简单JS代码压缩器
2006/10/12 Javascript
JavaScript面向对象之静态与非静态类
2010/02/03 Javascript
IE浏览器中图片onload事件无效的解决方法
2014/04/29 Javascript
jquery实现html页面 div 假分页有原理有代码
2014/09/06 Javascript
JavaScript实现防止网页被嵌入Frame框架的代码分享
2014/12/29 Javascript
新入门node.js必须要知道的概念(必看篇)
2016/08/10 Javascript
Angularjs实现带查找筛选功能的select下拉框示例代码
2016/10/04 Javascript
Angular和百度地图的结合实例代码
2016/10/19 Javascript
关于axios返回空对象的问题解决
2017/04/04 Javascript
React学习之事件绑定的几种方法对比
2017/09/24 Javascript
浅谈Redux中间件的实践
2018/07/27 Javascript
vscode配置vue下的es6规范自动格式化详解
2019/03/20 Javascript
vue 解除鼠标的监听事件的方法
2019/11/13 Javascript
pydev使用wxpython找不到路径的解决方法
2013/02/10 Python
使用python加密自己的密码
2015/08/04 Python
python使用tcp实现局域网内文件传输
2020/03/20 Python
Python图像处理之直线和曲线的拟合与绘制【curve_fit()应用】
2018/12/26 Python
利用python-pypcap抓取带VLAN标签的数据包方法
2019/07/23 Python
python定间隔取点(np.linspace)的实现
2019/11/27 Python
pyecharts在数据可视化中的应用详解
2020/06/08 Python
Python为何不支持switch语句原理详解
2020/10/21 Python
PyTorch中的拷贝与就地操作详解
2020/12/09 Python
倩碧澳大利亚官网:Clinique澳大利亚
2019/07/22 全球购物
Shell如何接收变量输入
2016/08/06 面试题
环保专业大学生职业规划设计
2014/01/10 职场文书
简历里的自我评价
2014/01/31 职场文书
2015年乡镇扶贫工作总结
2015/04/08 职场文书
2016年主题党日活动总结
2016/04/05 职场文书
关于企业的执行力标语大全
2020/01/06 职场文书
解决pytorch 损失函数中输入输出不匹配的问题
2021/06/05 Python
Java Spring Lifecycle的使用
2022/05/06 Java/Android