首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

如何理解python接口自动化之logging日志模块

Posted in Python onJune 15, 2021

一、logging模块介绍

​前言：我们之前运行代码时都是将日志直接输出到控制台，而实际项目中常常需要把日志存储到文件，便于查阅，如运行时间、描述信息以及错误或者异常发生时候的特定上下文信息。

​Python中自带的logging模块提供了标准的日志接口，在debug时使用往往会事半功倍。为什么不直接使用print去输出呢？这种方式对简单的脚本来说有用，对于复杂的系统来说相当于一个花瓶摆设，大量的print输出很容易被遗忘在代码里，并且print是标准输出，这很难从一堆信息里去判断哪些是你需要重点关注的。

​logging的优势就在于可以控制日志的级别，把不需要的信息进行过滤，且可以决定它输出到什么地方、如何输出，还可以通过控制等级把特定等级的信息输出到特定的位置等。logging一共分为四个部分：

  • Loggers：日志收集器，可供程序直接调用的接口，app通过调用提供的api来记录日志
  • Handlers：日志处理器， 决定将日志记录分配至正确的目的地
  • Filters：日志过滤器，对日志信息进行过滤， 提供更细粒度的日志是否输出的判断
  • Formatters：日志格式器，制定最终记录打印的格式布局

二、日志等级

​logging将logger的等级划分成5个level，由低到高分别是DEBUG、INFO、WARNING、ERROE、CRITICAL，默认是WARNING级别，CRITICAL最高，相关等级说明如下：

Level 说明
DEBUG 输出详细的运行信息，主要用于调试，追踪问题时使用
INFO 输出正常的运行的信息，一切按预期进行的情况
WARNING 一些意想不到的或即将会发生的情况，比如警告：内存空间不足，但不影响程序运行
ERROR 由于某些问题，程序的一些功能会受到影响，还可以继续运行
CRITICAL 一个严重的错误，表明程序本身可能无法继续运行

​这些等级的日志中低包含高，比如INFO，会收集INFO及以上等级的日志，DEBUG等级的日志将不进行收集。下面我们来输出这5个等级的日志：

import logging

"""
logging模块默认收集的日志是warning以上等级的

"""

a = 100
logging.debug(a)
logging.info('这是INFO等级的信息')
logging.warning('这是WARNING等级的信息')
logging.error('这是ERROR等级的信息')
logging.critical('这是CRITICAL等级的信息')

​输出结果：

C:\software\python\python.exe D:/learn/test.py

WARNING:root:这是WARNING等级的信息

ERROR:root:这是ERROR等级的信息

CRITICAL:root:这是CRITICAL等级的信息

Process finished with exit code 0

三、日志收集器

​日志是怎么被收集和输出的呢？答案就是日志收集器，设置一个收集器，把指等级的日志信息输出到指定的地方，控制台或文件等，其工作过程大致如下：

如何理解python接口自动化之logging日志模块

​logging中默认的日志收集器是root，收集等级默认是WARNING，我们可以通过setLevel来改变它的收集等级。

# 获取默认的日志收集器root
my_log = logging.getLogger()
# 设置默认的日志收集器等级
my_log.setLevel("DEBUG")  # 日志将全部被收集

a = 100
logging.debug(a)
logging.info('这是INFO等级的信息')
logging.warning('这是WARNING等级的信息')
logging.error('这是ERROR等级的信息')
logging.critical('这是CRITICAL等级的信息')

​输出结果：

C:\software\python\python.exe D:/learn/test.py

DEBUG:root:100

INFO:root:这是INFO等级的信息

WARNING:root:这是WARNING等级的信息

ERROR:root:这是ERROR等级的信息

CRITICAL:root:这是CRITICAL等级的信息

 

Process finished with exit code 0

 

​除了使用默认的日志收集器，我们也可以自己创建一个收集器logging.getLogger，如下：

import logging

my_logger = logging.getLogger('my_logger')	# 创建logging对象
my_logger.setLevel('INFO')	# 设置日志收集等级

a = 100
logging.debug(a)
logging.info('这是INFO等级的信息')
logging.warning('这是WARNING等级的信息')
logging.error('这是ERROR等级的信息')
logging.critical('这是CRITICAL等级的信息')

​输出结果：

C:\software\python\python.exe D:/learn/test.py

WARNING:root:这是WARNING等级的信息

ERROR:root:这是ERROR等级的信息

CRITICAL:root:这是CRITICAL等级的信息

 

Process finished with exit code 0

四、日志处理器

​上面例子中设置的收集器都是输出到控制台，除此我们还可以输出到文件中。

​Handlers（处理器）的作用就是将logger发过来的信息进行准确地分配，送往正确的地方。比如，送往控制台、文件或者是两者。它决定了每个日志收集器的行为，是创建收集器之后需要配置的重点区域。每个Handler同样有一个日志级别，一个logger可以拥有多个handler也就是说logger可以根据不同的日志级别将日志传递给不同的handler。当然也可以相同的级别传递给多个handler，这就根据需求来灵活的配置了。

​下面实例中设置了两个handler，一个是输出到控制台，一个是输出到文件中。关键代码：

  • logging.StreamHandler：输出到控制台的处理器
  • logging.FileHandler：输出到文件的处理器
  • addHandler：添加处理器
  • removeHandler：移除处理器
import logging

my_logger = logging.getLogger('my_logger')
my_logger.setLevel('INFO')

# 创建一个输出到控制台的处理器
sh = logging.StreamHandler()
sh.setLevel("ERROR")    # 设置处理器的输出等级
my_logger.addHandler(sh)    # 将处理器绑定到日志收集器上

# 创建一个输出到文件的处理器
fh = logging.FileHandler("logs.logs", encoding="utf8")
fh.setLevel("INFO")
my_logger.addHandler(fh)
# my_logger.removeHandler(fh)	# 移除处理器

a = 100
my_logger.debug(a)
my_logger.info('这是INFO等级的信息')
my_logger.warning('这是WARNING等级的信息')
my_logger.error('这是ERROR等级的信息')
my_logger.critical('这是CRITICAL等级的信息')

运行结果:

C:\software\python\python.exe D:/learn/test.py

这是ERROR等级的信息

这是CRITICAL等级的信息

 

Process finished with exit code 0

如何理解python接口自动化之logging日志模块

五、日志过滤器

​Filters可以实现比level更复杂的过滤功能，限制只有满足过滤规则的日志才会被输出。比如我们定义了filter = logging.Filter('A.B')，并将这个Filter添加到了一个Handler上，则使用该Handler的Logger中只有名字带A.B前缀的Logger才能输出其日志。下面是一个简单实例：

import logging

# 这是logger1
my_logger = logging.getLogger('A.C,B')
my_logger.setLevel('INFO')

# 这是logger2
my_logger2 = logging.getLogger('A.B')
my_logger2.setLevel('INFO')

# 创建一个处理器，两个logger都使用这个处理器
sh = logging.StreamHandler()
sh.setLevel("ERROR")
my_logger.addHandler(sh)
my_logger2.addHandler(sh)

# 创建一个过滤器绑到处理器上
my_filter = logging.Filter(name='A.B')
sh.addFilter(my_filter)    # 把过滤器添加到处理器上
# sh2.removeFilter(my_filter)   # 移除过滤器

my_logger.debug('这是logger1-DEBUG等级的信息')
my_logger.info('这是logger1-INFO等级的信息')
my_logger.warning('这是logger1-WARNING等级的信息')
my_logger.error('这是logger1-ERROR等级的信息')
my_logger.critical('这是logger1-CRITICAL等级的信息')

my_logger2.debug('这是logger2-DEBUG等级的信息')
my_logger2.info('这是logger2-INFO等级的信息')
my_logger2.warning('这是logger2-WARNING等级的信息')
my_logger2.error('这是logger2-ERROR等级的信息')
my_logger2.critical('这是logger2-CRITICAL等级的信息')

​因为只有logger2满足过滤器的条件，因此只会输出logger2的日志，运行结果如下：

C:\software\python\python.exe D:/learn/test.py

这是logger2-ERROR等级的信息

这是logger2-CRITICAL等级的信息

 

Process finished with exit code 0

​filter方法用于具体控制传递的record记录是否能通过过滤，如果该方法返回值为0表示不能通过过滤，非0表示可以通过过滤。

六、日志格式器

​顾名思义，对日志进行格式化，因为常规的日志输出并不直观美观，通过美化日志的输出格式，可以让我们阅读起来更加舒服。

​format常用格式如下：

  • %(name)s: 打印收集器名称
  • %(levelno)s: 打印日志级别的数值
  • %(levelname)s: 打印日志级别名称
  • %(pathname)s: 打印当前执行程序的路径，其实就是sys.argv[0]
  • %(filename)s: 打印当前执行程序名
  • %(funcName)s: 打印日志的当前函数
  • %(lineno)d: 打印日志的当前行号
  • %(asctime)s: 打印日志的时间
  • %(thread)d: 打印线程ID
  • %(threadName)s: 打印线程名称
  • %(process)d: 打印进程ID
  • %(message)s: 打印日志信息
import logging

my_logger = logging.getLogger('A.C,B')
my_logger.setLevel('INFO')

# 创建一个处理器
sh = logging.StreamHandler()
sh.setLevel("ERROR")
my_logger.addHandler(sh)
# 设置一个格式，并设置到处理器上
formatter = logging.Formatter('%(asctime)s - [%(filename)s-->line:%(lineno)d] - %(levelname)s: %(message)s')
sh.setFormatter(formatter)

my_logger.debug('这是logger1-DEBUG等级的信息')
my_logger.info('这是logger1-INFO等级的信息')
my_logger.warning('这是logger1-WARNING等级的信息')
my_logger.error('这是logger1-ERROR等级的信息')
my_logger.critical('这是logger1-CRITICAL等级的信息')

​运行结果：

C:\software\python\python.exe D:/learn/test.py

2020-08-01 18:28:43,645 - [test.py-->line:17] - ERROR: 这是logger1-ERROR等级的信息

2020-08-01 18:28:43,645 - [test.py-->line:18] - CRITICAL: 这是logger1-CRITICAL等级的信息

 

Process finished with exit code 0

 

七、日志滚动

​如果你用 FileHandler 存储日志，文件的大小会随着时间推移而不断增大，最终有一天它会占满你所有的磁盘空间。Python 的 logging 模块提供了两个支持日志滚动的 FileHandler 类，分别是 RotatingFileHandler 和 TimedRotatingFileHandler，它就可以解决这个尴尬的问题。

  • RotatingFileHandler 的滚动时刻是日志文件的大小达到一定值，当达到指定值的时候，RotatingFileHandler会将日志文件重命名存档，然后打开一个新的日志文件。
  • TimedRotatingFileHandler 是当某个时刻到来时就进行滚动，同 RotatingFileHandler 一样，当滚动时机来临时，TimedRotatingFileHandler 会将日志文件重命名存档，然后打开一个新的日志文件。

​在实际应用中，我们通常会根据时间进行滚动，以下实例也以时间滚动为例，按大小滚动的同理：

import logging
from logging.handlers import TimedRotatingFileHandler

my_logger = logging.getLogger('A.C,B')
my_logger.setLevel('INFO')

# 创建一个处理器,使用时间滚动的文件处理器
log_file_handler = TimedRotatingFileHandler(filename='log.log', when='D', interval=1, backupCount=10)
# log_file_handler.suffix = "%Y-%m-%d"
# log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.log$")
log_file_handler.setLevel("ERROR")
my_logger.addHandler(log_file_handler)

# 设置一个格式，并设置到处理器上
formatter = logging.Formatter('%(asctime)s - [%(filename)s-->line:%(lineno)d] - %(levelname)s: %(message)s')
log_file_handler.setFormatter(formatter)

my_logger.debug('这是logger1-DEBUG等级的信息')
my_logger.info('这是logger1-INFO等级的信息')
my_logger.warning('这是logger1-WARNING等级的信息')
my_logger.error('这是logger1-ERROR等级的信息')
my_logger.critical('这是logger1-CRITICAL等级的信息')

​参数说明：

filename：日志文件名；

when：是一个字符串，用于描述滚动周期的基本单位，字符串的值及意义如下：

  • S - Seconds
  • M - Minutes
  • H - Hours
  • D - Days
  • midnight - roll over at midnight
  • W{0-6} - roll over on a certain day; 0 - Monday

interval: 滚动周期，单位由when指定，比如：when='D'，interval=1，表示每天产生一个日志文件；

backupCount: 表示日志文件的保留个数；

​除了上述参数之外，TimedRotatingFileHandler还有两个比较重要的成员变量，它们分别是suffix和extMatch。suffix是指日志文件名的后缀，suffix中通常带有格式化的时间字符串，filename和suffix由“.”连接构成文件名（例如：filename="test"， suffix="%Y-%m-%d.log"，生成的文件名为test.2020-08-01.log。extMatch是一个编译好的正则表达式，用于匹配日志文件名的后缀，它必须和suffix是匹配的，如果suffix和extMatch匹配不上的话，过期的日志是不会被删除的。比如，suffix=“%Y-%m-%d.log”, extMatch的只能是re.compile(r"^\d{4}-\d{2}-\d{2}.log$")。默认情况下，在TimedRotatingFileHandler对象初始化时，suffxi和extMatch会根据when的值进行初始化：

S：suffix="%Y-%m-%d_%H-%M-%S",extMatch=r"\^d{4}-\d{2}-\d{2}_\d{2}-\d{2}-\d{2}"；
M：suffix="%Y-%m-%d_%H-%M",extMatch=r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}";
H：suffix="%Y-%m-%d_%H",extMatch=r"^\d{4}-\d{2}-\d{2}_\d{2}";
D：suffxi="%Y-%m-%d",extMatch=r"^\d{4}-\d{2}-\d{2}";
MIDNIGHT："%Y-%m-%d",extMatch=r"^\d{4}-\d{2}-\d{2}";
W："%Y-%m-%d",extMatch=r"^\d{4}-\d{2}-\d{2}";

​如果对日志文件名没有特殊要求的话，可以不用设置suffix和extMatch，如果需要，一定要让它们匹配上。

八、模块封装

​一次封装，一劳永逸，之后直接调用即可，封装内容按需。

import logging
from logging.handlers import TimedRotatingFileHandler


class MyLogger(object):

    @staticmethod
    def create_logger():
        my_logger = logging.getLogger("my_logger")
        my_logger.setLevel("DEBUG")
        # 控制台处理器
        stream_handler = logging.StreamHandler()
        stream_handler.setLevel("ERROR")
        my_logger.addHandler(stream_handler)
        # 使用时间滚动的文件处理器
        log_file_handler = TimedRotatingFileHandler(filename='log.log', when='D', interval=1, backupCount=10)
        log_file_handler.setLevel("INFO")
        my_logger.addHandler(log_file_handler)
        
        formatter = logging.Formatter('%(asctime)s - [%(filename)s-->line:%(lineno)d] - %(levelname)s: %(message)s')
        stream_handler.setFormatter(formatter)
        log_file_handler.setFormatter(formatter)

        return my_logger

以上就是如何理解python接口自动化之logging日志模块的详细内容，更多关于python 接口自动化 logging日志模块的资料请关注三水点靠木其它相关文章！

如何理解python接口自动化之logging日志模块

- Author -

miki的测试笔记

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python实现端口转发器的方法
Mar 13 Python
Python的消息队列包SnakeMQ使用初探
Jun 29 Python
浅谈scrapy 的基本命令介绍
Jun 13 Python
python正则表达式re之compile函数解析
Oct 25 Python
Centos7 Python3下安装scrapy的详细步骤
Mar 15 Python
django从请求到响应的过程深入讲解
Aug 01 Python
将string类型的数据类型转换为spark rdd时报错的解决方法
Feb 18 Python
Python玩转PDF的各种骚操作
May 06 Python
关于python导入模块import与常见的模块详解
Aug 28 Python
解决Python logging模块无法正常输出日志的问题
Feb 21 Python
Python sorted排序方法如何实现
Mar 31 Python
matplotlib之多边形选区（PolygonSelector）的使用
Feb 24 Python
python基于turtle绘制几何图形
详解Flask开发技巧之异常处理
Jun 15 #Python
Python Pandas常用函数方法总结
Jun 15 #Python
深入理解python协程
Jun 15 #Python
2021年最新用于图像处理的Python库总结
Python中的xlrd模块使用整理
Jun 15 #Python
浅谈python中的多态
Jun 15 #Python
微信(2) 小喇叭开始广播了(1) 小喇叭(1) S-2000(1) PostMapping(1) 温控(1) ResNet50(1) Lifecycle(1) 内存泄露(1) Spring(9)
You might like
PHP以mysqli方式连接类完整代码实例
2014/07/15 PHP
php短网址和数字之间相互转换的方法
2015/03/13 PHP
浅谈本地WAMP环境的搭建
2015/05/13 PHP
php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法
2015/11/30 PHP
CI框架常用经典操作类总结(路由,伪静态,分页,session,验证码等)
2016/11/21 PHP
PHP基于Redis消息队列实现发布微博的方法
2017/05/03 PHP
thinkphp5引入公共部分header、footer的方法详解
2018/09/14 PHP
js修改原型的属性使用介绍
2014/01/26 Javascript
js与运算符和或运算符的妙用
2014/02/14 Javascript
js正则匹配出所有图片及图片地址src的方法
2015/06/08 Javascript
浅谈JavaScript中的Math.atan()方法的使用
2015/06/14 Javascript
BootStrap树状图显示功能
2016/11/24 Javascript
JS设置CSS样式的方式汇总
2017/01/21 Javascript
深入了解query和params的使用区别
2019/06/24 Javascript
JavaScript Canvas编写炫彩的网页时钟
2019/10/16 Javascript
vue 使用v-for进行循环的实例代码详解
2020/02/19 Javascript
Vue通过Blob对象实现导出Excel功能示例代码
2020/07/31 Javascript
[01:43]倾听DOTA2英雄之声 魅惑魔女国服配音鉴赏
2013/06/06 DOTA
Selenium元素的常用操作方法分析
2018/08/10 Python
对sklearn的使用之数据集的拆分与训练详解(python3.6)
2018/12/14 Python
python3+selenium实现qq邮箱登陆并发送邮件功能
2019/01/23 Python
Python3.5字符串常用操作实例详解
2019/05/01 Python
Python树莓派学习笔记之UDP传输视频帧操作详解
2019/11/15 Python
Docker部署Python爬虫项目的方法步骤
2020/01/19 Python
python3.9和pycharm的安装教程并创建简单项目的步骤
2021/02/03 Python
python模块内置属性概念及实例
2021/02/18 Python
linux面试题参考答案（9）
2016/01/29 面试题
工程预算与管理应届生求职信
2013/10/06 职场文书
机械绘图员岗位职责
2013/11/19 职场文书
大学生创业计划书的用途
2014/01/08 职场文书
亲属关系公证书
2014/04/08 职场文书
学校安全责任书范本
2014/07/23 职场文书
2014年家长学校工作总结
2014/11/20 职场文书
mysql多表查询-笔记七
2021/04/05 MySQL
Django显示可视化图表的实践
2021/05/10 Python
JavaScript函数柯里化
2021/11/07 Javascript