详解Python自建logging模块


Posted in Python onJanuary 29, 2018

简单使用

最开始,我们用最短的代码体验一下logging的基本功能。

import logging
logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#输出
out>>DEBG:root:logsomething

第一步,通过logging.getLogger函数,获取一个loger对象,但这个对象暂时是无法使用的。
第二步,logging.basicConfig函数,进行一系列默认的配置,包括format、handler等。
第三步,logger调用setLevel函数定义日志级别为DEBUG 最后,调用debug函数,输出一条debug级别的message,显示在了标准输出上。 logging中的日志级别

logging在生成日志的时候,有一个日志级别的机制,默认有以下几个日志级别:

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO 20
DEBUG = 10
NOTEST = 0

每一个logger对象,都有一个日志级别,它只会输出高于它level的日志。如果一个logger的level是INFO,那么调用logger.debug()是无法输出日志的,而logger.warning()能够输出。

一般来说,以上的6个日志级别完全满足我们日常使用了。

logging中的基础类

logging是python的一个基础模块,它在python中的源码位置如下:

#主干代码
/usr/lib/python2.7/logging/__init__.py
#扩展的handler和config
/usr/lib/pyhon2.7/logging/config.py
/usr/lib/python2.7/loging/handlers.py

组成logging的主干的几个基础类都在__init__.py中:

第一个基础类LogRecord

一个LogRecord对象,对应了日志中的一行数据。通常包含:时间、日志级别、message信息、当前执行的模块、行号、函数名...这些信息都包含在一个LogRecord对象里。
LogRecord对象可以想象成一个大字典:

class LogRecord(object):
 #代表一条日志的类
 def getMessage(self):
  #获取self.msg
 def markLogRecord(dict):
 #这个方法很重要,生成一个空的LogRecord,然后通过一个字典,直接更新LogReocrd中的成员变量
 rv = LogRecord(None, None, "", 0, "", (), None, None)
 rv.__dict__.update(dict)
 return rv

第二个基础类Formatter

Formatter对象是用来定义日志格式的,LogRecord保存了很多信息,但是打印日志的时候我们只需要其中几个,Formatter就提供了这样的功能,它依赖于python的一个功能:

#通过字典的方式,输出格式化字符串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100})
out >>>my_name:100
如果说LogRecord是后面的那个字典,那么Formatter就是前面的那个格式字符串...的抽象

重要的代码如下:

class Formatter(object):
 def __init__(self, fmt=None, datefmt = None):
  if fmt:
   self._fmt = fmt
  else:
   #默认的format
   self._fmt = "%(message)s"
 def format(self, record)
  #使用self._fmt进行格式化
  s = self._fmt %record.__dict__
  return s

第三个基础类Filter和Filterer

Filter类,功能很简单。Filter.filter()函数传入一个LogRecord对象,通过筛选返回1,否则返回0.从代码中可以看到,其实是对LogRecord.name的筛选。

Filterer类中有一个Filter对象的列表,它是一组Filter的抽象。

重要的代码如下:

class Filter(object):
 def __init__(self, name=''):
  self.name = name
  self.nlen = len(name)
 def filter(self, record):
  #返回1表示record通过,0表示record不通过
  if self.nlen == 0:
   return 1
  elif self.name == record.name:
   return 1
  #record.name不是以filter开头
  elif record.name.find(self.name, 0, self.nlen) != 0:
   return 0
  #最后一位是否为
  return (record.name[self.nlen] == '.')
class Filterer(object):
 #这个类其实是定义了一个self.filters = []的列表管理多个filter
 def addFilter(self, filter):
 def removefilter(self, filter):
 def filter(self, record):
 #使用列表中所有的filter进行筛选,任何一个失败都会返回0
 #例如:
  #filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C'
  #此时record.name = 'A,B,C,D'这样的record才能通过所有filter的筛选

logging中的高级类

有了以上三个基础的类,就可以拼凑一些更重要的高级类了,高级类可以实现logging的重要功能。

Handler——抽象了log的输出过程 Handler类继承自Filterer。Handler类时log输出这个过程的抽象。
同时Handler类具有一个成员变量self.level,在第二节讨论的日志级别的机制,就是在Handler中实现的。
Handler有一个emit(record)函数,这个函数负责输出log,必须在Handler的子类中实现。

重要代码如下:

class Handler(Filterer):
 def __init__(self, level = NOTEST)
  #handler必须有level属性
  self.level = _checkLevel(level)
 def format(self, record):
  #使用self.formatter, formattercord
 def handler(self, record):
  #如果通过filter的筛选,则emit这条log
  rv = self.filter(record)
  self.emit(record)
 def emit(self, record):
  #等待子类去实现

接下来看两个简单的handler的子类,其中在logging源码中,有一个handler.py专门定义了很多复杂的handler,有的可以将log缓存在内存中,有的可以将log做rotation等。

StreamHandler
最简单的handler实现,将log写入一个流,默认的stream是sys.stderr

重要的代码如下:

class StreamHandler(Handler):
 def __init__(self, stream = None):
  if stream is None:
   stream = sys.stderr
  self.stream = stream
 def emit(self, record):
  #将record的信息写入流
  #处理一些编码的异常
  fs = '%s\n' #每条日志都有换行
  stream = self.stream
  stream.write(fs%msg)

FileHandler

将log输出到文件的handler,继承StreamHandler

重要代码如下:

class FileHandler(StreamHandler):
 def __init__(self, filename, mode='a')
  #append方式打开一个文件
  StreamHandler.__init__(self, self._open())
 def emit(self, record):
  #和streamhandler保持一致
  StreamHandler.emit(self, record)

Logger——一个独立的log管道

什么是logger?

+ logger类继承自Filterer,

+ logger对象有logger.level日志级别

+ logger对象控制多个handler:logger.handlers = []

+ logger对象之间存在福字关系

简单的来说,logger这个类,集中了我们以上所有的LogRecord、Filter类、Formatter类、handler类。首先,logger根据输入生成一个LogRecord读写,经过Filter和Formatter之后,再通过self.handlers列表中的所有handler,把log发送出去。

一个logger中可能有多个handler,可以实现把一份log放到任意的位置。

class Logger(Filterer):
 def __init__(self, name, level=NOTEST)
  #handler列表
  self.handlers = []
  self.level = _checklevel(level)
 def addHandler(self, hdlr):
 def removeHandler(self, hdlr):
 def _log(self, level, msg, args, exc_info=None, extra=None):
  #在_log函数中创建了一个LogRecord对象
  record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
  #交给handle函数
  self.handle(record)
 def handle(self, reord):
  #进行filter,然后调用callHandlers
  if(not self.disabled) and self.filter(record):
   self.callHandlers(record)
 def callHandlers(self, record):
  #从当前logger到所有的父logger,递归的handl传入的record
  c = self
  while c:
   for hdlr in c.handlers:
    hdlr.handle(record) #进入handler的emit函数发送log
   ....
   c = c.parent

LoggerAdapter——对标准logger的一个扩展

LogRecord这个大字典中提供的成员变量已经很多,但是,如果在输出log时候仍然希望能够夹带一些自己想要看到的更多信息,例如产生这个log的时候,调用某些函数去获得其他信息,那么就可以把这些添加到Logger中,LoggerAdapter这个类就起到这个作用。

LoggerAdapter这个类很有意思,如果不做什么改动,那么LoggerAdapter类和Logger并没有什么区别。LoggerAdapter只是对Logger类进行了一下包装。

LoggerAdapter的用法其实是在它的成员函数process()的注释中已经说明了:

def process(self, msg, kwargs):
 '''
 Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.
 '''

也就是说重写process函数,以下是一个例子:

import logging
import random
L=logging.getLogger('name')
#定义一个函数,生成0~1000的随机数
def func():
 return random.randint(1,1000)
class myLogger(logging.LoggerAdapter):
 #继承LoggerAdapter,重写process,生成随机数添加到msg前面
 def process(self,msg,kwargs):
  return '(%d),%s' % (self.extra['name'](),msg) ,kwargs
#函数对象放入字典中传入 
LA=myLogger(L,{'name':func})
#now,do some logging
LA.debug('some_loging_messsage')
out>>DEBUG:name:(167),some_loging_messsage
Python 相关文章推荐
Python3访问并下载网页内容的方法
Jul 28 Python
Python读取网页内容的方法
Jul 30 Python
Flask框架中密码的加盐哈希加密和验证功能的用法详解
Jun 07 Python
Python实现希尔排序算法的原理与用法实例分析
Nov 23 Python
python OpenCV学习笔记之绘制直方图的方法
Feb 08 Python
基于anaconda下强大的conda命令介绍
Jun 11 Python
Sanic框架应用部署方法详解
Jul 18 Python
Python JSON格式数据的提取和保存的实现
Mar 22 Python
Python操作MySQL数据库实例详解【安装、连接、增删改查等】
Jan 17 Python
如何解决安装python3.6.1失败
Jul 01 Python
PySwarms(Python粒子群优化工具包)的使用:GlobalBestPSO例子解析
Apr 05 Python
python 爬取豆瓣网页的示例
Apr 13 Python
python抓取网页中链接的静态图片
Jan 29 #Python
Python实现识别手写数字 Python图片读入与处理
Mar 23 #Python
Python实现PS滤镜特效Marble Filter玻璃条纹扭曲效果示例
Jan 29 #Python
Python实现识别手写数字大纲
Jan 29 #Python
django文档学习之applications使用详解
Jan 29 #Python
Python实现PS滤镜Fish lens图像扭曲效果示例
Jan 29 #Python
python实现识别手写数字 python图像识别算法
Mar 23 #Python
You might like
如何在PHP中使用Oracle数据库(3)
2006/10/09 PHP
模板引擎Smarty深入浅出介绍
2006/12/06 PHP
php中支持多种编码的中文字符串截取函数!
2007/03/20 PHP
基于PHP实现简单的随机抽奖小程序
2016/01/05 PHP
详解PHP中websocket的使用方法
2016/09/15 PHP
Yii框架布局文件的动态切换操作示例
2019/11/11 PHP
JavaScript 对Cookie 操作的封装小结
2009/12/31 Javascript
选择TreeView控件的树状数据节点的JS方法(jquery)
2010/02/06 Javascript
js 显示base64编码的二进制流网页图片
2014/04/04 Javascript
jquery mobile的触控点击事件会多次触发问题的解决方法
2014/05/08 Javascript
轻松创建nodejs服务器(1):一个简单nodejs服务器例子
2014/12/18 NodeJs
JavaScript中string转换成number介绍
2014/12/31 Javascript
JavaScript实现点击自动选择TextArea文本的方法
2015/07/02 Javascript
常用javascript表单验证汇总
2020/07/20 Javascript
jQuery中的基本选择器用法学习教程
2016/04/14 Javascript
基于JavaScript实现活动倒计时效果
2017/04/20 Javascript
解决vue-router中的query动态传参问题
2018/03/20 Javascript
关于单文件组件.vue的使用
2018/09/20 Javascript
vue+axios 前端实现登录拦截的两种方式(路由拦截、http拦截)
2018/10/24 Javascript
JavaScript中的惰性载入函数及优势
2020/02/18 Javascript
nodejs各种姿势断点调试的方法
2020/06/18 NodeJs
Python urlopen 使用小示例
2008/09/06 Python
Windows下Python使用Pandas模块操作Excel文件的教程
2016/05/31 Python
django admin添加数据自动记录user到表中的实现方法
2018/01/05 Python
python远程连接MySQL数据库
2019/04/19 Python
Python+OpenCv制作证件图片生成器的操作方法
2019/08/21 Python
通过实例解析Python调用json模块
2019/12/11 Python
快速解决jupyter notebook启动需要密码的问题
2020/04/21 Python
python实现图片转字符画的完整代码
2021/02/21 Python
matplotlib源码解析标题实现(窗口标题,标题,子图标题不同之间的差异)
2021/02/22 Python
CSS3 二级导航菜单的制作的示例
2018/04/02 HTML / CSS
英语故事演讲稿
2014/04/29 职场文书
2014年教师节寄语
2014/08/11 职场文书
我的中国梦演讲稿300字
2014/08/19 职场文书
大学生实习证明范文(5篇)
2014/09/18 职场文书
CSS中float高度塌陷问题的四种解决方案
2022/04/18 HTML / CSS