首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

如何理解python接口自动化之logging日志模块

Posted in Python onJune 15, 2021

一、logging模块介绍

​前言：我们之前运行代码时都是将日志直接输出到控制台，而实际项目中常常需要把日志存储到文件，便于查阅，如运行时间、描述信息以及错误或者异常发生时候的特定上下文信息。

​Python中自带的logging模块提供了标准的日志接口，在debug时使用往往会事半功倍。为什么不直接使用print去输出呢？这种方式对简单的脚本来说有用，对于复杂的系统来说相当于一个花瓶摆设，大量的print输出很容易被遗忘在代码里，并且print是标准输出，这很难从一堆信息里去判断哪些是你需要重点关注的。

​logging的优势就在于可以控制日志的级别，把不需要的信息进行过滤，且可以决定它输出到什么地方、如何输出，还可以通过控制等级把特定等级的信息输出到特定的位置等。logging一共分为四个部分：

  • Loggers：日志收集器，可供程序直接调用的接口，app通过调用提供的api来记录日志
  • Handlers：日志处理器， 决定将日志记录分配至正确的目的地
  • Filters：日志过滤器，对日志信息进行过滤， 提供更细粒度的日志是否输出的判断
  • Formatters：日志格式器，制定最终记录打印的格式布局

二、日志等级

​logging将logger的等级划分成5个level，由低到高分别是DEBUG、INFO、WARNING、ERROE、CRITICAL，默认是WARNING级别，CRITICAL最高，相关等级说明如下：

Level 说明
DEBUG 输出详细的运行信息，主要用于调试，追踪问题时使用
INFO 输出正常的运行的信息，一切按预期进行的情况
WARNING 一些意想不到的或即将会发生的情况，比如警告：内存空间不足，但不影响程序运行
ERROR 由于某些问题，程序的一些功能会受到影响，还可以继续运行
CRITICAL 一个严重的错误，表明程序本身可能无法继续运行

​这些等级的日志中低包含高，比如INFO，会收集INFO及以上等级的日志，DEBUG等级的日志将不进行收集。下面我们来输出这5个等级的日志：

import logging

"""
logging模块默认收集的日志是warning以上等级的

"""

a = 100
logging.debug(a)
logging.info('这是INFO等级的信息')
logging.warning('这是WARNING等级的信息')
logging.error('这是ERROR等级的信息')
logging.critical('这是CRITICAL等级的信息')

​输出结果：

C:\software\python\python.exe D:/learn/test.py

WARNING:root:这是WARNING等级的信息

ERROR:root:这是ERROR等级的信息

CRITICAL:root:这是CRITICAL等级的信息

Process finished with exit code 0

三、日志收集器

​日志是怎么被收集和输出的呢？答案就是日志收集器，设置一个收集器，把指等级的日志信息输出到指定的地方，控制台或文件等，其工作过程大致如下：

如何理解python接口自动化之logging日志模块

​logging中默认的日志收集器是root，收集等级默认是WARNING，我们可以通过setLevel来改变它的收集等级。

# 获取默认的日志收集器root
my_log = logging.getLogger()
# 设置默认的日志收集器等级
my_log.setLevel("DEBUG")  # 日志将全部被收集

a = 100
logging.debug(a)
logging.info('这是INFO等级的信息')
logging.warning('这是WARNING等级的信息')
logging.error('这是ERROR等级的信息')
logging.critical('这是CRITICAL等级的信息')

​输出结果：

C:\software\python\python.exe D:/learn/test.py

DEBUG:root:100

INFO:root:这是INFO等级的信息

WARNING:root:这是WARNING等级的信息

ERROR:root:这是ERROR等级的信息

CRITICAL:root:这是CRITICAL等级的信息

 

Process finished with exit code 0

 

​除了使用默认的日志收集器，我们也可以自己创建一个收集器logging.getLogger，如下：

import logging

my_logger = logging.getLogger('my_logger')	# 创建logging对象
my_logger.setLevel('INFO')	# 设置日志收集等级

a = 100
logging.debug(a)
logging.info('这是INFO等级的信息')
logging.warning('这是WARNING等级的信息')
logging.error('这是ERROR等级的信息')
logging.critical('这是CRITICAL等级的信息')

​输出结果：

C:\software\python\python.exe D:/learn/test.py

WARNING:root:这是WARNING等级的信息

ERROR:root:这是ERROR等级的信息

CRITICAL:root:这是CRITICAL等级的信息

 

Process finished with exit code 0

四、日志处理器

​上面例子中设置的收集器都是输出到控制台，除此我们还可以输出到文件中。

​Handlers（处理器）的作用就是将logger发过来的信息进行准确地分配，送往正确的地方。比如，送往控制台、文件或者是两者。它决定了每个日志收集器的行为，是创建收集器之后需要配置的重点区域。每个Handler同样有一个日志级别，一个logger可以拥有多个handler也就是说logger可以根据不同的日志级别将日志传递给不同的handler。当然也可以相同的级别传递给多个handler，这就根据需求来灵活的配置了。

​下面实例中设置了两个handler，一个是输出到控制台，一个是输出到文件中。关键代码：

  • logging.StreamHandler：输出到控制台的处理器
  • logging.FileHandler：输出到文件的处理器
  • addHandler：添加处理器
  • removeHandler：移除处理器
import logging

my_logger = logging.getLogger('my_logger')
my_logger.setLevel('INFO')

# 创建一个输出到控制台的处理器
sh = logging.StreamHandler()
sh.setLevel("ERROR")    # 设置处理器的输出等级
my_logger.addHandler(sh)    # 将处理器绑定到日志收集器上

# 创建一个输出到文件的处理器
fh = logging.FileHandler("logs.logs", encoding="utf8")
fh.setLevel("INFO")
my_logger.addHandler(fh)
# my_logger.removeHandler(fh)	# 移除处理器

a = 100
my_logger.debug(a)
my_logger.info('这是INFO等级的信息')
my_logger.warning('这是WARNING等级的信息')
my_logger.error('这是ERROR等级的信息')
my_logger.critical('这是CRITICAL等级的信息')

运行结果:

C:\software\python\python.exe D:/learn/test.py

这是ERROR等级的信息

这是CRITICAL等级的信息

 

Process finished with exit code 0

如何理解python接口自动化之logging日志模块

五、日志过滤器

​Filters可以实现比level更复杂的过滤功能，限制只有满足过滤规则的日志才会被输出。比如我们定义了filter = logging.Filter('A.B')，并将这个Filter添加到了一个Handler上，则使用该Handler的Logger中只有名字带A.B前缀的Logger才能输出其日志。下面是一个简单实例：

import logging

# 这是logger1
my_logger = logging.getLogger('A.C,B')
my_logger.setLevel('INFO')

# 这是logger2
my_logger2 = logging.getLogger('A.B')
my_logger2.setLevel('INFO')

# 创建一个处理器，两个logger都使用这个处理器
sh = logging.StreamHandler()
sh.setLevel("ERROR")
my_logger.addHandler(sh)
my_logger2.addHandler(sh)

# 创建一个过滤器绑到处理器上
my_filter = logging.Filter(name='A.B')
sh.addFilter(my_filter)    # 把过滤器添加到处理器上
# sh2.removeFilter(my_filter)   # 移除过滤器

my_logger.debug('这是logger1-DEBUG等级的信息')
my_logger.info('这是logger1-INFO等级的信息')
my_logger.warning('这是logger1-WARNING等级的信息')
my_logger.error('这是logger1-ERROR等级的信息')
my_logger.critical('这是logger1-CRITICAL等级的信息')

my_logger2.debug('这是logger2-DEBUG等级的信息')
my_logger2.info('这是logger2-INFO等级的信息')
my_logger2.warning('这是logger2-WARNING等级的信息')
my_logger2.error('这是logger2-ERROR等级的信息')
my_logger2.critical('这是logger2-CRITICAL等级的信息')

​因为只有logger2满足过滤器的条件，因此只会输出logger2的日志，运行结果如下：

C:\software\python\python.exe D:/learn/test.py

这是logger2-ERROR等级的信息

这是logger2-CRITICAL等级的信息

 

Process finished with exit code 0

​filter方法用于具体控制传递的record记录是否能通过过滤，如果该方法返回值为0表示不能通过过滤，非0表示可以通过过滤。

六、日志格式器

​顾名思义，对日志进行格式化，因为常规的日志输出并不直观美观，通过美化日志的输出格式，可以让我们阅读起来更加舒服。

​format常用格式如下：

  • %(name)s: 打印收集器名称
  • %(levelno)s: 打印日志级别的数值
  • %(levelname)s: 打印日志级别名称
  • %(pathname)s: 打印当前执行程序的路径，其实就是sys.argv[0]
  • %(filename)s: 打印当前执行程序名
  • %(funcName)s: 打印日志的当前函数
  • %(lineno)d: 打印日志的当前行号
  • %(asctime)s: 打印日志的时间
  • %(thread)d: 打印线程ID
  • %(threadName)s: 打印线程名称
  • %(process)d: 打印进程ID
  • %(message)s: 打印日志信息
import logging

my_logger = logging.getLogger('A.C,B')
my_logger.setLevel('INFO')

# 创建一个处理器
sh = logging.StreamHandler()
sh.setLevel("ERROR")
my_logger.addHandler(sh)
# 设置一个格式，并设置到处理器上
formatter = logging.Formatter('%(asctime)s - [%(filename)s-->line:%(lineno)d] - %(levelname)s: %(message)s')
sh.setFormatter(formatter)

my_logger.debug('这是logger1-DEBUG等级的信息')
my_logger.info('这是logger1-INFO等级的信息')
my_logger.warning('这是logger1-WARNING等级的信息')
my_logger.error('这是logger1-ERROR等级的信息')
my_logger.critical('这是logger1-CRITICAL等级的信息')

​运行结果：

C:\software\python\python.exe D:/learn/test.py

2020-08-01 18:28:43,645 - [test.py-->line:17] - ERROR: 这是logger1-ERROR等级的信息

2020-08-01 18:28:43,645 - [test.py-->line:18] - CRITICAL: 这是logger1-CRITICAL等级的信息

 

Process finished with exit code 0

 

七、日志滚动

​如果你用 FileHandler 存储日志，文件的大小会随着时间推移而不断增大，最终有一天它会占满你所有的磁盘空间。Python 的 logging 模块提供了两个支持日志滚动的 FileHandler 类，分别是 RotatingFileHandler 和 TimedRotatingFileHandler，它就可以解决这个尴尬的问题。

  • RotatingFileHandler 的滚动时刻是日志文件的大小达到一定值，当达到指定值的时候，RotatingFileHandler会将日志文件重命名存档，然后打开一个新的日志文件。
  • TimedRotatingFileHandler 是当某个时刻到来时就进行滚动，同 RotatingFileHandler 一样，当滚动时机来临时，TimedRotatingFileHandler 会将日志文件重命名存档，然后打开一个新的日志文件。

​在实际应用中，我们通常会根据时间进行滚动，以下实例也以时间滚动为例，按大小滚动的同理：

import logging
from logging.handlers import TimedRotatingFileHandler

my_logger = logging.getLogger('A.C,B')
my_logger.setLevel('INFO')

# 创建一个处理器,使用时间滚动的文件处理器
log_file_handler = TimedRotatingFileHandler(filename='log.log', when='D', interval=1, backupCount=10)
# log_file_handler.suffix = "%Y-%m-%d"
# log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.log$")
log_file_handler.setLevel("ERROR")
my_logger.addHandler(log_file_handler)

# 设置一个格式，并设置到处理器上
formatter = logging.Formatter('%(asctime)s - [%(filename)s-->line:%(lineno)d] - %(levelname)s: %(message)s')
log_file_handler.setFormatter(formatter)

my_logger.debug('这是logger1-DEBUG等级的信息')
my_logger.info('这是logger1-INFO等级的信息')
my_logger.warning('这是logger1-WARNING等级的信息')
my_logger.error('这是logger1-ERROR等级的信息')
my_logger.critical('这是logger1-CRITICAL等级的信息')

​参数说明：

filename：日志文件名；

when：是一个字符串，用于描述滚动周期的基本单位，字符串的值及意义如下：

  • S - Seconds
  • M - Minutes
  • H - Hours
  • D - Days
  • midnight - roll over at midnight
  • W{0-6} - roll over on a certain day; 0 - Monday

interval: 滚动周期，单位由when指定，比如：when='D'，interval=1，表示每天产生一个日志文件；

backupCount: 表示日志文件的保留个数；

​除了上述参数之外，TimedRotatingFileHandler还有两个比较重要的成员变量，它们分别是suffix和extMatch。suffix是指日志文件名的后缀，suffix中通常带有格式化的时间字符串，filename和suffix由“.”连接构成文件名（例如：filename="test"， suffix="%Y-%m-%d.log"，生成的文件名为test.2020-08-01.log。extMatch是一个编译好的正则表达式，用于匹配日志文件名的后缀，它必须和suffix是匹配的，如果suffix和extMatch匹配不上的话，过期的日志是不会被删除的。比如，suffix=“%Y-%m-%d.log”, extMatch的只能是re.compile(r"^\d{4}-\d{2}-\d{2}.log$")。默认情况下，在TimedRotatingFileHandler对象初始化时，suffxi和extMatch会根据when的值进行初始化：

S：suffix="%Y-%m-%d_%H-%M-%S",extMatch=r"\^d{4}-\d{2}-\d{2}_\d{2}-\d{2}-\d{2}"；
M：suffix="%Y-%m-%d_%H-%M",extMatch=r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}";
H：suffix="%Y-%m-%d_%H",extMatch=r"^\d{4}-\d{2}-\d{2}_\d{2}";
D：suffxi="%Y-%m-%d",extMatch=r"^\d{4}-\d{2}-\d{2}";
MIDNIGHT："%Y-%m-%d",extMatch=r"^\d{4}-\d{2}-\d{2}";
W："%Y-%m-%d",extMatch=r"^\d{4}-\d{2}-\d{2}";

​如果对日志文件名没有特殊要求的话，可以不用设置suffix和extMatch，如果需要，一定要让它们匹配上。

八、模块封装

​一次封装，一劳永逸，之后直接调用即可，封装内容按需。

import logging
from logging.handlers import TimedRotatingFileHandler


class MyLogger(object):

    @staticmethod
    def create_logger():
        my_logger = logging.getLogger("my_logger")
        my_logger.setLevel("DEBUG")
        # 控制台处理器
        stream_handler = logging.StreamHandler()
        stream_handler.setLevel("ERROR")
        my_logger.addHandler(stream_handler)
        # 使用时间滚动的文件处理器
        log_file_handler = TimedRotatingFileHandler(filename='log.log', when='D', interval=1, backupCount=10)
        log_file_handler.setLevel("INFO")
        my_logger.addHandler(log_file_handler)
        
        formatter = logging.Formatter('%(asctime)s - [%(filename)s-->line:%(lineno)d] - %(levelname)s: %(message)s')
        stream_handler.setFormatter(formatter)
        log_file_handler.setFormatter(formatter)

        return my_logger

以上就是如何理解python接口自动化之logging日志模块的详细内容，更多关于python 接口自动化 logging日志模块的资料请关注三水点靠木其它相关文章！

如何理解python接口自动化之logging日志模块

- Author -

miki的测试笔记

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python发送伪造的arp请求
Jan 09 Python
在Python中用keys()方法返回字典键的教程
May 21 Python
轻松掌握python设计模式之访问者模式
Nov 18 Python
安装Python的教程-Windows
Jul 22 Python
对numpy和pandas中数组的合并和拆分详解
Apr 11 Python
基于Python 装饰器装饰类中的方法实例
Apr 21 Python
对python中的pop函数和append函数详解
May 04 Python
使用Python进行体育竞技分析（预测球队成绩）
May 16 Python
Python中使用pypdf2合并、分割、加密pdf文件的代码详解
May 21 Python
对Python 简单串口收发GUI界面的实例详解
Jun 12 Python
浅析Python 引号、注释、字符串
Jul 25 Python
Django实现内容缓存实例方法
Jun 30 Python
python基于turtle绘制几何图形
详解Flask开发技巧之异常处理
Jun 15 #Python
Python Pandas常用函数方法总结
Jun 15 #Python
深入理解python协程
Jun 15 #Python
2021年最新用于图像处理的Python库总结
Python中的xlrd模块使用整理
Jun 15 #Python
浅谈python中的多态
Jun 15 #Python
间隙锁(2) innoDB(3) Anaconda(2) 经纬度(1) MVCC(4) dll(1) C/C++(1) html标准库(1) ctypes(1) 历史记录(1)
You might like
使用PHP批量生成随机用户名
2008/07/10 PHP
小文件php+SQLite存储方案
2010/09/04 PHP
PHP验证码类代码( 最新修改,完全定制化! )
2010/12/02 PHP
php数组函数序列之array_push() 数组尾部添加一个或多个元素（入栈），返回新长度。
2011/11/07 PHP
php中拷贝构造函数、赋值运算符重载
2012/07/25 PHP
phpstorm编辑器乱码问题解决
2014/12/01 PHP
DOM基础及php读取xml内容操作的方法
2015/01/23 PHP
弹出广告特效代码(一个IP只弹出一次)
2007/05/11 Javascript
js获取php变量的实现代码
2013/08/10 Javascript
AngularJS HTML编译器介绍
2014/12/06 Javascript
js判断某个方法是否存在实例代码
2015/01/10 Javascript
JavaScript字符串常用类使用方法汇总
2015/04/14 Javascript
简介JavaScript中的setTime()方法的使用
2015/06/11 Javascript
深入讲解AngularJS中的自定义指令的使用
2015/06/18 Javascript
js定时器+简单的动画效果实例
2017/11/10 Javascript
Vue添加请求拦截器及vue-resource 拦截器使用
2017/11/23 Javascript
js实现全选反选不选功能代码详解
2019/04/24 Javascript
搭建Vue从Vue-cli到router路由护卫的实现
2019/11/14 Javascript
微信小程序新闻网站详情页实例代码
2020/01/10 Javascript
es6数组includes()用法实例分析
2020/04/18 Javascript
微信小程序实现watch监听
2020/06/04 Javascript
[02:22]《新闻直播间》2017年08月14日
2017/08/15 DOTA
[45:15]Optic vs VP 2018国际邀请赛淘汰赛BO3 第一场 8.24
2018/08/25 DOTA
python求众数问题实例
2014/09/26 Python
Python的Django框架中的select_related函数对QuerySet 查询的优化
2015/04/01 Python
python基于twisted框架编写简单聊天室
2018/01/02 Python
python requests库爬取豆瓣电视剧数据并保存到本地详解
2019/08/10 Python
理解Django 中Call Stack机制的小Demo
2020/09/01 Python
Python 串口通信的实现
2020/09/29 Python
Bonprix法国：时尚、鞋子、家居
2020/12/29 全球购物
医院护理人员的自我评价分享
2013/10/04 职场文书
先进工作者主要事迹材料
2015/11/03 职场文书
《黄道婆》教学反思
2016/02/22 职场文书
SpringBoot2 参数管理实践之入参出参与校验的方式
2021/06/16 Java/Android
一定要知道的 25 个 Vue 技巧
2021/11/02 Vue.js
MySQL添加索引特点及优化问题
2022/07/23 MySQL