首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

如何在Python项目中引入日志

Posted in Python onMay 31, 2021

Logging模块的使用

简单使用

Logging 模块提供了一系列便利的函数

它们分别是 debug(), info(), warning(), error(), critical()

import logging

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')
logging.critical('critical log test')

输出结果：

WARNING:root:warning log test
ERROR:root:error log test
CRITICAL:root:critical log test

为什么只输出了 warning， error 和 critical 的结果，因为 logging 模块默认使用 warning 日志级别，就是只有 warning 及以上日志等级才会显示。

日志等级从高到低，如下所示

 

级别 数值 何时使用
CRITICAL 50 严重的错误，表明程序已不能继续执行
ERROR 40 由于严重的问题，程序的某些功能已经不能正常执行
WARNING 30 表明有已经或即将发生的意外，程序仍按预期进行
INFO 20 确认程序按预期运行
DEBUG 10 细节信息，仅当诊断问题时适用。
NOTSET 0 无任何等级限制

我们只要把 logging 的默认日志等级改下就好了

import logging

# 配置日志等级
logging.basicConfig(level=logging.DEBUG)

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')

输出结果如下：

DEBUG:root:debug log test
INFO:root:info log test
WARNING:root:warning log test
ERROR:root:error log test

指定日志输出样式

当然我们还可以指定日志输出格式

import logging


# 日志输出样式
log_format = '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
logging.basicConfig(format=log_format, level=logging.DEBUG)

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')
logging.critical('critical log test')

输出结果如下：

DEBUG 2021-05-27 00:04:26,327 main.py 65 debug log test
INFO 2021-05-27 00:04:26,327 main.py 66 info log test
WARNING 2021-05-27 00:04:26,327 main.py 67 warning log test
ERROR 2021-05-27 00:04:26,327 main.py 68 error log test
CRITICAL 2021-05-27 00:04:26,327 main.py 69 critical log test

其中日志信息格式化输出配置样式说明

  • %(levelname)s ，日志等级
  • %(asctime)s ，时间
  • %(filename)s ，文件名
  • %(lineno)d ，行号
  • %(message)s，日志信息

这些配置都是固定，不可随便写，还有好多日志格式化样式，这里只介绍了一些常用的格式配置，大家可以去官网查看更多的格式化配置信息。docs.python.org/zh-cn/3.7/l…

日志记录到文件中

在 logging.basicConfig 中设置 filename 属性即可把日志信息写入文件中

import logging


# 日志输出样式
log_format = '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
logging.basicConfig(
    filename='test.log',
    format=log_format,
    level=logging.DEBUG
)

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')
logging.critical('critical log test')

运行程序后 test.log 如下内容

如何在Python项目中引入日志

自定义日志配置

通常我们在项目中都是自定义一些通用日志配置，然后供项目全局使用。写好这些配置下次要在别的项目使用之间复制粘贴过来修改修改一下即可。来康康是如何配置的。

准备日志配置信息

配置日志详细信息，需要导入 logging.config 来进行加载日志配置信息

首先准备日志配置信息字典

log_dict = {
    'version': 1,
    'disable_existing_loggers': False,  # 是否禁用已经存在的日志器

    # 日志信息格式化输出配置
    'formatters': {

        # 简单的日志输出
        'simple': {
            'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
        },

        # 详细的日志输出
        'verbose': {
            'format': '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
        },
    },

    # 日志信息处理器配置
    'handlers': {
        
        # 向终端中输出日志
        'console': {
            'level': 'DEBUG',                   # 处理的日志等级，DEBUG及以上
            'class': 'logging.StreamHandler',   # 日志处理器
            'formatter': 'simple'               # 日志格式化配置
        },

        # 向文件中输出日志
        'file': {
            'level': 'INFO',                                    # 处理的日志等级，DEBUG及以上
            'class': 'logging.handlers.RotatingFileHandler',    # 使用文件日志处理器
            'formatter': 'verbose',                             # 日志格式化配置
            'filename': './logs/test.log',                      # 日志文件存储位置
            'maxBytes': 1024 * 1024,        # 每个日志文件最大 10MB, 单位: byte
            'backupCount': 20,              # 如果文件满了, 自动扩充, 最多保留 20 个日志文件
            'encoding': 'utf8',
        },
    },

    # 默认根日志器
    'root': {
        'level': 'DEBUG',           # 允许接受的日志等级
        'handlers': ['console']     # 选择日志处理器
    },

    # 自定义的日志器
    'loggers': {
        'server': {
            'level': 'DEBUG',
            'handlers': ['file'],
            'propagate': True       # 设为 False则禁止将日志消息传递给父级记录器的处理程序中
        }
    }
}

准备日志配置信息

配置日志详细信息，需要导入 logging.config 来进行加载日志配置信息

首先准备日志配置信息字典

log_dict = {
    'version': 1,
    'disable_existing_loggers': False,  # 是否禁用已经存在的日志器

    # 日志信息格式化输出配置
    'formatters': {

        # 简单的日志输出
        'simple': {
            'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
        },

        # 详细的日志输出
        'verbose': {
            'format': '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
        },
    },

    # 日志信息处理器配置
    'handlers': {
        
        # 向终端中输出日志
        'console': {
            'level': 'DEBUG',                   # 处理的日志等级，DEBUG及以上
            'class': 'logging.StreamHandler',   # 日志处理器
            'formatter': 'simple'               # 日志格式化配置
        },

        # 向文件中输出日志
        'file': {
            'level': 'INFO',                                    # 处理的日志等级，DEBUG及以上
            'class': 'logging.handlers.RotatingFileHandler',    # 使用文件日志处理器
            'formatter': 'verbose',                             # 日志格式化配置
            'filename': './logs/test.log',                      # 日志文件存储位置
            'maxBytes': 1024 * 1024,        # 每个日志文件最大 10MB, 单位: byte
            'backupCount': 20,              # 如果文件满了, 自动扩充, 最多保留 20 个日志文件
            'encoding': 'utf8',
        },
    },

    # 默认根日志器
    'root': {
        'level': 'DEBUG',           # 允许接受的日志等级
        'handlers': ['console']     # 选择日志处理器
    },

    # 自定义的日志器
    'loggers': {
        'server': {
            'level': 'DEBUG',
            'handlers': ['file'],
            'propagate': True       # 设为 False则禁止将日志消息传递给父级记录器的处理程序中
        }
    }
}

其中大字典的 key 都是固定，例如 version,formatters, handlers, root, loggers等都是固定的配置项。而有一些子选项是可以自己自定义如

  • formatters 下的 simple 和 verbose，是可以改成自己想要的名字。
  • handlers 下的 console 和 file 也是可以修改的。
  • loggers 下的 server 都是一样可以修改的

具体配置的说明，在这字典中都有一一注释我就不全介绍了，我就介绍一下 handlers 日志处理器的配置

在 logging 模块中有许多 日志处理器类，我们只需要在 pycharm 中输入 logging.Handler 就能弹出最基本的几个日志处理类。

如何在Python项目中引入日志

而上文所用到的 StreamHandler 则是流处理器，日志将随着系统标准输入、输出流展示，而我们的 PyCharm终端、控制台等 显示的信息就属于系统标准输出流。

而 RotatingFileHandler 日志处理器则是 FileHandler 的子类。其主要作用就是把日志写入文件中，当文件内容达到最大限制时可以自动扩充日志文件，以达到日志文件的轮换。

加载日志配置信息

然后使用 logging.config.dictConfig() 方法加载日志配置，该方法接受一个 字典 参数。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Author: Hui
# @Desc: { 日志模块logging的使用 }
# @Date: 2021/05/26 23:14
import logging
import logging.config

log_dict = {
    'version': 1,
    'disable_existing_loggers': False,  # 是否禁用已经存在的日志器

    ...与上文一致故省略

    # 默认根日志器
    'root': {
        'level': 'DEBUG',  # 接受的日志等级
        'handlers': ['console']
    },
    
    # 自定义的日志器
    'loggers': {
        'server': {
            'level': 'DEBUG',
            'handlers': ['file'],
            'propagate': True       # 设为 False则禁止将日志消息传递给父级记录器的处理程序中
        }
    }
}


def setup_logging():
    """
    配置日志信息
    :return:
    """
    logging.config.dictConfig(config=log_dict)
    logger = logging.getLogger()
	# logger = logging.getLogger('root')
    
    logger.debug('debug log test')
    logger.info('info log test')
    logger.warning('warning log test')
    logger.error('error log test')


def main():
    setup_logging()


if __name__ == '__main__':
    main()

使用 logging.getLogger() 即可获取相应配置日志器，其接受一个日志器的名字，不传则默认使用 root 根日志器，同 logging.getLogger('root') 效果一致。

如果之间运行程序会出现如下错误

ValueError: Unable to configure handler 'file'

那是因为你在日志配置中设置了一个文件处理器 file ，其日志文件将存储在 filename 配置项中，在这里是

./logs/test.log		# 代表存储在当前路径下的 logs目录下的 test.log 文件

Logging 模块不会自动帮我们创建目录，因此只需在当前目录中创建一个 logs 目录即可。

最后程序运行结果如下

DEBUG main 74 debug log test
INFO main 75 info log test
WARNING main 76 warning log test
ERROR main 77 error log test

不用跟 root 根日志器，使用 server 日志器，代码如下

import logging
import logging.config

log_dict = {...同上文省略...}

def setup_logging():
    """
    配置日志信息
    :return:
    """
    logging.config.dictConfig(config=log_dict)
    # logger = logging.getLogger()

    logger = logging.getLogger('server')
    logger.debug('debug log test')
    logger.info('info log test')
    logger.warning('warning log test')
    logger.error('error log test')
    
    
def main():
    setup_logging()


if __name__ == '__main__':
    main()

运行结果如下：

控制台

DEBUG main 75 debug log test
INFO main 76 info log test
WARNING main 77 warning log test
ERROR main 78 error log test

日志文件 logs/test.log

如何在Python项目中引入日志

由于 server 日志器设置了 'propagate': True，会 将日志消息传递给父级记录器的处理程序中，因此不仅控制台会显示日志信息，文件也会记录，但文件记录的等级被设置成 INFO 了，因此 DEBUG 调试日志信息，将不会出现在文件中。

使用日志配置文件

这里我将采用 yaml 格式的日志配置文件。具体配置内容和上文大致一样，多了一个 error_file_handler 错误日志处理器，目的就是把 错误日志单独放在一个文件中，方便以后排查错误。

创建日志配置文件

创建 logging.yaml 文件，内容如下所示

version: 1
disable_existing_loggers: true

# 日志信息格式化输出配置
formatters:
    simple:
        format: '%(levelname)s %(filename)s %(lineno)d %(message)s'
    verbose:
        format: '%(levelname)s %(asctime)s -Loc %(filename)s -Row %(lineno)d -%(name)s %(message)s'

# 日志信息处理器配置
handlers:
    console:
        class: logging.StreamHandler
        level: DEBUG
        formatter: simple
        stream: ext://sys.stdout

    # 错误日志单独处理
    error_file_handler:
        class: logging.handlers.RotatingFileHandler
        level: ERROR
        formatter: verbose
        filename: ./logs/errors.log   # 错误日志文件存储位置
        maxBytes: 10485760            # 每个日志文件最大 10MB
        backupCount: 20               # 如果文件满了, 自动扩充, 最多保留 20 个日志文件
        encoding: utf8

    server_file_handler:
      class: logging.handlers.RotatingFileHandler
      level: INFO                     # 只在文件中记录INFO级别及以上的log
      formatter: verbose
      filename: ./logs/server.log    # 项目日志文件, 记录所有日志信息
      maxBytes: 10485760             # 10MB
      backupCount: 30
      encoding: utf8

# 根日志器
root:
    level: DEBUG
    handlers: [console]

# 日志器
loggers:
    server:
        level: DEBUG      # 允许打印 DEBUG 及以上log
        handlers: [server_file_handler, error_file_handler]
        propagate: True   # 设为 False则禁止将日志消息传递给父级记录器的处理程序中

加载日志配置函数

# log_test.py 文件

import os
import yaml
import logging
import coloredlogs
import logging.config


# 项目根路径
BASE_DIR = os.path.dirname(os.path.abspath(__file__))

# 日志配置文件
LOG_CONF_FILE = os.path.join(BASE_DIR, 'logging.yaml')


def setup_logging(default_path=LOG_CONF_FILE, default_level=logging.DEBUG, env_key='LOG_CFG'):
    """
    配置项目日志信息
    :param default_path: 日志文件默认路径
    :param default_level: 日志默认等级
    :param env_key: 系统环境变量名
    :return:
    """
    path = default_path

    value = os.getenv(env_key, None)  # 获取对应的环境变量值
    if value is not None:
        path = value

    if os.path.exists(path):
        with open(path, mode='r', encoding='utf-8') as f:
            try:
                logging_yaml = yaml.safe_load(f.read())
                logging.config.dictConfig(logging_yaml)
                coloredlogs.install(level='DEBUG')
            except Exception as e:
                print(e)
                print('无法加载日志配置文件, 请检查日志目录是否创建, 使用默认的日志配置')
                logging.basicConfig(level=default_level)
                coloredlogs.install(level=default_level)
    else:
        logging.basicConfig(level=default_level)
        coloredlogs.install(level=default_level)
        print('日志配置文件不存在, 使用默认的日志配置')

这里使用到第三方库如下

  • PyYaml 是用于读取 yaml 格式的日志配置文件
  • Coloredlogs 用于让日志在控制台中有颜色显示。

然后我们在项目中只要执行完 setup_logging() 日志配置函数

其他模块直接使用 logging.getLogger('server') 就可获取我们配置好的日志器。

# log_demo.py 文件

import logging

logger = logging.getLogger('server')  # 维护一个全局日志对象

logger.debug('debug log test')


def log_test1():
    logger.info('info log test')


def log_test2():
    try:
        a = 1 / 0
    except Exception as e:
        logger.error(e)


class LogDemo(object):

    @staticmethod
    def log_test():
        logger.warning('warning log test')
# log_test.py

def main():
    setup_logging()

    logger = logging.getLogger('server')
    logger.debug('debug log test')
    logger.info('info log test')
    logger.warning('warning log test')
    logger.error('error log test')

    # 日志在其他模块中使用演示
    import log_demo
    log_demo.log_test1()
    log_demo.log_test2()
    log_demo.LogDemo.log_test()
    
    
if __name__ == '__main__':
    main()

日志效果展示

运行 log_test.py 结果如下

控制台信息

如何在Python项目中引入日志

全部日志配置文件信息

如何在Python项目中引入日志

错误日志文件信息

如何在Python项目中引入日志

源代码

源代码已上传到 GitHub LogSetupDemo，欢迎大家来访。

以上就是如何在Python项目中引入日志的详细内容，更多关于python 项目引入日志的资料请关注三水点靠木其它相关文章！

如何在Python项目中引入日志

- Author -

忆想不到的晖

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python的几种开发工具介绍
Mar 07 Python
关于pip的安装,更新,卸载模块以及使用方法(详解)
May 19 Python
python里使用正则的findall函数的实例详解
Oct 19 Python
python2.7安装图文教程
Mar 13 Python
基于python指定包的安装路径方法
Oct 27 Python
Python设计模式之享元模式原理与用法实例分析
Jan 11 Python
python SQLAlchemy 中的Engine详解
Jul 04 Python
Python算法的时间复杂度和空间复杂度(实例解析)
Nov 19 Python
详解django使用include无法跳转的解决方法
Mar 19 Python
在pycharm中文件取消用 pytest模式打开的操作
Sep 01 Python
如何在Anaconda中打开python自带idle
Sep 21 Python
健身房被搭讪?用python写了个小米计时器助人为乐
Jun 08 Python
Tensorflow与RNN、双向LSTM等的踩坑记录及解决
Python数据类型最全知识总结
May 31 #Python
教你怎么用Python操作MySql数据库
Django集成富文本编辑器summernote的实现步骤
Python基础知识学习之类的继承
May 31 #Python
Django实现聊天机器人
Python趣味挑战之教你用pygame画进度条
dict(1) hook(1) Foreign Key(1) 数据备份(2) Vite(1) 云服务器(1) 外键约束(1) expdp(1) 腾讯云(1) 脚本(1)
You might like
PHP中func_get_args(),func_get_arg(),func_num_args()的区别
2013/09/30 PHP
php中spl_autoload详解
2014/10/17 PHP
线路分流自动跳转代码；希望对大家有用！
2006/12/02 Javascript
JavaScript效率调优经验
2009/06/04 Javascript
javascript中的绑定与解绑函数应用示例
2013/06/24 Javascript
JS.getTextContent(element,preformatted)使用介绍
2013/09/21 Javascript
javascript实现简单的省市区三级联动
2015/05/14 Javascript
使用Sticky组件实现带sticky效果的tab导航和滚动导航的方法
2016/03/22 Javascript
Jquery针对tr td的一些实用操作方法(必看篇)
2016/10/05 Javascript
BootStrap 实现各种样式的进度条效果
2016/12/07 Javascript
JS无缝滚动效果实现方法分析
2016/12/21 Javascript
浅谈nodejs中的类定义和继承的套路
2017/07/26 NodeJs
[54:26]完美世界DOTA2联赛PWL S3 Forest vs Rebirth 第一场 12.10
2020/12/12 DOTA
Python网络爬虫实例讲解
2016/04/28 Python
Python利用递归实现文件的复制方法
2018/10/27 Python
解决python xx.py文件点击完之后一闪而过的问题
2019/06/24 Python
python中update的基本使用方法详解
2019/07/17 Python
Python列表(list)所有元素的同一操作解析
2019/08/01 Python
利用Python脚本实现自动刷网课
2020/02/03 Python
python3排序的实例方法
2020/10/20 Python
整理HTML5中表单的常用属性及新属性
2016/02/19 HTML / CSS
中科前程Java笔试题
2016/11/20 面试题
财会自我鉴定范文
2013/12/27 职场文书
党员学习十八大感想
2014/01/17 职场文书
九年级英语教学反思
2014/01/31 职场文书
《寓言两则》教学反思
2014/02/27 职场文书
中国梦我的梦演讲稿
2014/04/23 职场文书
铣床操作工岗位职责
2014/06/13 职场文书
预防艾滋病宣传标语
2014/06/25 职场文书
2014副局长群众路线对照检查材料思想汇报
2014/09/22 职场文书
事业单位年度考核评语
2014/12/31 职场文书
英文道歉信
2015/01/20 职场文书
异地恋情人节寄语
2015/02/28 职场文书
养成教育工作总结
2015/08/13 职场文书
在Windows下安装配置CPU版的PyTorch的方法
2021/04/02 Python
JavaScript原始值与包装对象的详细介绍
2021/05/11 Javascript