详解Python中logging日志模块在多进程环境下的使用


Posted in Javascript onDecember 26, 2016

前言

相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析。Python 的 logging 模块就是这种情况下的好帮手。

logging 模块可以指定日志的级别,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别。(如果不特别指定,默认级别是 warning)

logging 还可以指定输出到命令行或者文件,还可以按时间或大小分割日志文件。

关于 logging 的详细使用,这里就不再细说,可以参考官方文档,或者这里的介绍。

logging 的配置

通常情况下,我们需要将日志保存到文件中,并期望能自动分割文件,避免日志文件太大。下面给出了一个 logging 的配置例子。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

我们在一个模块内,就可以这么使用来记录日志

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

按照官方文档的介绍,logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的。但是(对,这里有个但是)多个进程往同一个文件写日志不是安全的。官方的说法是这样的:

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有的人会说,那我不用多进程不就可以了。但是 Python 有一个 GIL 的大锁(关于 GIL 的纠葛可以看这里),使用多线程是没法利用到多核 CPU 的,大部分情况下会改用多进程来利用多核 CPU,因此我们还是绕不开不开多进程下日志的问题。

为了解决这个问题,可以使用 ConcurrentLogHandler,ConcurrentLogHandler 可以在多进程环境下安全的将日志写入到同一个文件,并且可以在日志文件达到特定大小时,分割日志文件。在默认的 logging 模块中,有个 TimedRotatingFileHandler 类,可以按时间分割日志文件,可惜 ConcurrentLogHandler 不支持这种按时间分割日志文件的方式。

重新修改下 handlers 中的 class。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类,在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行后可以发现,会自动创建一个.lock文件,通过锁的方式来安全的写日志文件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
Javascript结合css实现网页换肤功能
Nov 02 Javascript
基于mootools插件实现遮罩层新手引导
May 24 Javascript
js判断页面中是否有指定控件的简单实例
Mar 04 Javascript
使用原生js实现页面蒙灰(mask)效果示例代码
Jun 20 Javascript
jQuery插件bgStretcher.js实现全屏背景特效
Jun 05 Javascript
jQuery添加和删除指定标签的方法
Dec 16 Javascript
探讨JavaScript标签位置的存放与功能有无关系
Jan 15 Javascript
AngularJS表格详解及示例代码
Aug 17 Javascript
AngularJS表单验证功能
Oct 19 Javascript
解决微信浏览器缓存站点入口文件(IIS部署Vue项目)
Jun 17 Javascript
react-router-dom 嵌套路由的实现
May 02 Javascript
vue本地构建热更新卡顿的问题“75 advanced module optimization”完美解决方案
Aug 05 Vue.js
Angular的事件和表单详解
Dec 26 #Javascript
Angular的MVC和作用域
Dec 26 #Javascript
JS中用try catch对代码运行的性能影响分析
Dec 26 #Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
Dec 26 #Javascript
Angular的$http与$location
Dec 26 #Javascript
Angular ng-repeat指令实例以及扩展部分
Dec 26 #Javascript
详解Angular的内置过滤器和自定义过滤器【推荐】
Dec 26 #Javascript
You might like
php数据库配置文件一般做法分享
2012/07/07 PHP
PHP符合PSR编程规范的实例分享
2016/12/21 PHP
微信小程序发送订阅消息的方法(php 为例)
2019/10/30 PHP
php设计模式之组合模式实例详解【星际争霸游戏案例】
2020/03/27 PHP
Mozilla中显示textarea中选择的文字
2006/09/07 Javascript
基础的prototype.js常用函数及其用法
2007/03/10 Javascript
js 无提示关闭浏览器页面的代码
2010/03/09 Javascript
JavaScript中URL编码函数代码
2011/01/11 Javascript
24款非常有用的 jQuery 插件分享
2011/04/06 Javascript
使用Jquery获取带特殊符号的ID 标签的方法
2014/04/30 Javascript
javascript学习笔记(六)数据类型和JSON格式
2014/10/08 Javascript
原生JS和JQuery动态添加、删除表格行的方法
2015/05/28 Javascript
JSON简介以及用法汇总
2016/02/21 Javascript
JS实现带导航城市列表以及输入搜索功能
2018/01/04 Javascript
JSON生成Form表单的方法示例
2018/11/21 Javascript
layui实现根据table数据判断按钮显示情况的方法
2019/09/26 Javascript
JavaScript this指向相关原理及实例解析
2020/07/10 Javascript
vue 防止页面加载时看到花括号的解决操作
2020/11/09 Javascript
[59:08]DOTA2上海特级锦标赛C组小组赛#2 LGD VS Newbee第一局
2016/02/27 DOTA
Python判断字符串与大小写转换
2015/06/08 Python
Python变量和字符串详解
2017/04/29 Python
Django入门使用示例
2017/12/12 Python
Python实现模拟浏览器请求及会话保持操作示例
2018/07/30 Python
python 缺失值处理的方法(Imputation)
2019/07/02 Python
python数据类型可变不可变知识点总结
2020/03/06 Python
店长助理岗位职责
2013/12/13 职场文书
《猫》教学反思
2014/02/26 职场文书
决心书标准格式
2014/03/11 职场文书
会计岗位说明书
2014/07/29 职场文书
成本会计岗位职责
2015/02/03 职场文书
文案策划岗位职责
2015/02/11 职场文书
万能检讨书开头与结尾怎么写
2015/02/17 职场文书
单位介绍信格式范文
2015/05/04 职场文书
物资采购管理制度
2015/08/06 职场文书
解决golang结构体tag编译错误的问题
2021/05/02 Golang
CKAD认证中部署k8s并配置Calico插件
2022/03/31 Servers