详解Python中logging日志模块在多进程环境下的使用


Posted in Javascript onDecember 26, 2016

前言

相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析。Python 的 logging 模块就是这种情况下的好帮手。

logging 模块可以指定日志的级别,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别。(如果不特别指定,默认级别是 warning)

logging 还可以指定输出到命令行或者文件,还可以按时间或大小分割日志文件。

关于 logging 的详细使用,这里就不再细说,可以参考官方文档,或者这里的介绍。

logging 的配置

通常情况下,我们需要将日志保存到文件中,并期望能自动分割文件,避免日志文件太大。下面给出了一个 logging 的配置例子。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

我们在一个模块内,就可以这么使用来记录日志

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

按照官方文档的介绍,logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的。但是(对,这里有个但是)多个进程往同一个文件写日志不是安全的。官方的说法是这样的:

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有的人会说,那我不用多进程不就可以了。但是 Python 有一个 GIL 的大锁(关于 GIL 的纠葛可以看这里),使用多线程是没法利用到多核 CPU 的,大部分情况下会改用多进程来利用多核 CPU,因此我们还是绕不开不开多进程下日志的问题。

为了解决这个问题,可以使用 ConcurrentLogHandler,ConcurrentLogHandler 可以在多进程环境下安全的将日志写入到同一个文件,并且可以在日志文件达到特定大小时,分割日志文件。在默认的 logging 模块中,有个 TimedRotatingFileHandler 类,可以按时间分割日志文件,可惜 ConcurrentLogHandler 不支持这种按时间分割日志文件的方式。

重新修改下 handlers 中的 class。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类,在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行后可以发现,会自动创建一个.lock文件,通过锁的方式来安全的写日志文件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
JavaScript高级程序设计(第3版)学习笔记9 js函数(下)
Oct 11 Javascript
jquery 倒计时效果实现秒杀思路
Sep 11 Javascript
javascript break指定标签打破多层循环示例
Jan 20 Javascript
JavaScript设计模式之外观模式实例
Oct 10 Javascript
Jquery幻灯片特效代码分享--打开页面随机选择切换方式(3)
Aug 15 Javascript
webpack 单独打包指定JS文件的方法
Feb 22 Javascript
Vue.js构建你的第一个包并在NPM上发布的方法步骤
May 01 Javascript
Vue+Django项目部署详解
May 30 Javascript
微信小程序 可搜索的地址选择实现详解
Aug 28 Javascript
jQuery 实现DOM元素拖拽交换位置的实例代码
Jul 14 jQuery
js实现弹窗猜数字游戏
Nov 26 Javascript
Vuex实现简单购物车
Jan 10 Vue.js
Angular的事件和表单详解
Dec 26 #Javascript
Angular的MVC和作用域
Dec 26 #Javascript
JS中用try catch对代码运行的性能影响分析
Dec 26 #Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
Dec 26 #Javascript
Angular的$http与$location
Dec 26 #Javascript
Angular ng-repeat指令实例以及扩展部分
Dec 26 #Javascript
详解Angular的内置过滤器和自定义过滤器【推荐】
Dec 26 #Javascript
You might like
PHP Mysql编程之高级技巧
2008/08/27 PHP
php实现的递归提成方案实例
2015/11/14 PHP
Linux平台PHP5.4设置FPM线程数量的方法
2016/11/09 PHP
javascript 必知必会之closure
2009/09/21 Javascript
Date对象格式化函数代码
2010/07/17 Javascript
jqPlot 图表中文API使用文档及源码和在线示例
2012/02/07 Javascript
javascript通过class来获取元素实现代码
2013/02/20 Javascript
JS上传前预览图片实例
2013/03/25 Javascript
异步动态加载js与css文件的js代码
2013/09/15 Javascript
javascript中数组的sort()方法的使用介绍
2013/12/18 Javascript
javascript中Function类型详解
2015/04/28 Javascript
基于Bootstrap的Metronic框架实现页面链接收藏夹功能
2016/08/29 Javascript
基于Vue2的移动端开发环境搭建详解
2016/11/03 Javascript
Html5 js实现手风琴效果
2020/04/17 Javascript
解决ele ui 表格表头太长问题的实现
2019/11/13 Javascript
js实现浏览器打印功能的示例代码
2020/07/15 Javascript
[56:13]DOTA2-DPC中国联赛定级赛 LBZS vs Phoenix BO3第一场 1月10日
2021/03/11 DOTA
用Python抢过年的火车票附源码
2015/12/07 Python
快速排序的算法思想及Python版快速排序的实现示例
2016/07/02 Python
Python使用filetype精确判断文件类型
2017/07/02 Python
Python环境搭建之OpenCV的步骤方法
2017/10/20 Python
Python判断对象是否相等及eq函数的讲解
2019/02/25 Python
Python选择网卡发包及接收数据包
2019/04/04 Python
详解如何管理多个Python版本和虚拟环境
2019/05/10 Python
Python学习笔记之自定义函数用法详解
2019/06/08 Python
Python爬取阿拉丁统计信息过程图解
2020/05/12 Python
使用keras实现非线性回归(两种加激活函数的方式)
2020/07/05 Python
HTML5之SVG 2D入门2—图形绘制(基本形状)介绍及使用
2013/01/30 HTML / CSS
联想香港官方网站及网店:Lenovo香港
2018/04/13 全球购物
Wedgwood英国官方网站:英式精致骨瓷餐具、礼品与生活精品,源于1759年
2019/09/02 全球购物
庆元旦广播稿
2014/02/10 职场文书
1亿有多大教学反思
2014/05/01 职场文书
学生抄作业检讨书(2篇)
2014/10/17 职场文书
2015年国庆节寄语
2015/08/17 职场文书
2016五四青年节活动总结范文
2016/04/06 职场文书
Spring Boot 使用 Spring-Retry 进行重试框架
2022/04/24 Java/Android