详解Python中logging日志模块在多进程环境下的使用


Posted in Javascript onDecember 26, 2016

前言

相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析。Python 的 logging 模块就是这种情况下的好帮手。

logging 模块可以指定日志的级别,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别。(如果不特别指定,默认级别是 warning)

logging 还可以指定输出到命令行或者文件,还可以按时间或大小分割日志文件。

关于 logging 的详细使用,这里就不再细说,可以参考官方文档,或者这里的介绍。

logging 的配置

通常情况下,我们需要将日志保存到文件中,并期望能自动分割文件,避免日志文件太大。下面给出了一个 logging 的配置例子。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

我们在一个模块内,就可以这么使用来记录日志

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

按照官方文档的介绍,logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的。但是(对,这里有个但是)多个进程往同一个文件写日志不是安全的。官方的说法是这样的:

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有的人会说,那我不用多进程不就可以了。但是 Python 有一个 GIL 的大锁(关于 GIL 的纠葛可以看这里),使用多线程是没法利用到多核 CPU 的,大部分情况下会改用多进程来利用多核 CPU,因此我们还是绕不开不开多进程下日志的问题。

为了解决这个问题,可以使用 ConcurrentLogHandler,ConcurrentLogHandler 可以在多进程环境下安全的将日志写入到同一个文件,并且可以在日志文件达到特定大小时,分割日志文件。在默认的 logging 模块中,有个 TimedRotatingFileHandler 类,可以按时间分割日志文件,可惜 ConcurrentLogHandler 不支持这种按时间分割日志文件的方式。

重新修改下 handlers 中的 class。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类,在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行后可以发现,会自动创建一个.lock文件,通过锁的方式来安全的写日志文件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
网页里控制图片大小的相关代码
Jun 13 Javascript
定时器(setTimeout/setInterval)调用带参函数失效解决方法
Mar 26 Javascript
Node.js插件的正确编写方式
Aug 03 Javascript
深入探讨javascript中的数据类型
Mar 04 Javascript
Jquery解析json字符串及json数组的方法
May 29 Javascript
有关json_decode乱码及NULL的问题
Oct 13 Javascript
js删除数组元素、清空数组的简单方法(必看)
Jul 27 Javascript
Angular.js中$resource高大上的数据交互详解
Jul 30 Javascript
js实现Tab选项卡切换效果
Jul 17 Javascript
在Vue项目中使用d3.js的实例代码
May 01 Javascript
security.js实现的RSA加密功能示例
Jun 06 Javascript
vue左侧菜单,树形图递归实现代码
Aug 24 Javascript
Angular的事件和表单详解
Dec 26 #Javascript
Angular的MVC和作用域
Dec 26 #Javascript
JS中用try catch对代码运行的性能影响分析
Dec 26 #Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
Dec 26 #Javascript
Angular的$http与$location
Dec 26 #Javascript
Angular ng-repeat指令实例以及扩展部分
Dec 26 #Javascript
详解Angular的内置过滤器和自定义过滤器【推荐】
Dec 26 #Javascript
You might like
暴雪前总裁遗憾:没尽早追赶Dota 取消星际争霸幽灵
2020/03/08 星际争霸
使用apache模块rewrite_module (转)
2007/02/14 PHP
利用PHP制作简单的内容采集器的代码
2007/11/28 PHP
PHP通用检测函数集合
2011/02/08 PHP
php获取本地图片文件并生成xml文件输出具体思路
2013/04/27 PHP
php5.3提示Function ereg() is deprecated Error问题解决方法
2014/11/12 PHP
PHP实现自动对图片进行滚动显示的方法
2015/03/12 PHP
javascript 写类方式之五
2009/07/05 Javascript
js 数组实现一个类似ruby的迭代器
2009/10/27 Javascript
Js nodeType 属性全面解析
2013/11/14 Javascript
jQuery操作元素css样式的三种方法
2014/06/04 Javascript
javascript实现时间格式输出FormatDate函数
2015/01/13 Javascript
JS返回只包含数字类型的数组实例分析
2016/12/16 Javascript
AngularJS实现的base64编码与解码功能示例
2018/05/17 Javascript
jQuery实现的点击显示隐藏下拉菜单功能完整示例
2019/05/17 jQuery
详解vue 2.6 中 slot 的新用法
2019/07/09 Javascript
微信小程序自定义弹出模态框禁止底部滚动功能
2020/03/09 Javascript
js实现简易拖拽的示例
2020/10/26 Javascript
python3.6使用urllib完成下载的实例
2018/12/19 Python
使用python 写一个静态服务(实战)
2019/06/28 Python
解决安装python3.7.4报错Can''t connect to HTTPS URL because the SSL module is not available
2019/07/31 Python
在Python中画图(基于Jupyter notebook的魔法函数)
2019/10/28 Python
在python中logger setlevel没有生效的解决
2020/02/21 Python
python爬虫学习笔记之Beautifulsoup模块用法详解
2020/04/09 Python
Pytorch1.5.1版本安装的方法步骤
2020/12/31 Python
HTML5 Canvas的性能提高技巧经验分享
2013/07/02 HTML / CSS
详解如何用HTML5 Canvas API控制图片的缩放变换
2016/03/22 HTML / CSS
LORAC官网:美国彩妆品牌
2019/08/27 全球购物
学生出入校管理制度
2014/01/16 职场文书
大学生社会实践评语
2014/04/25 职场文书
法定代表人证明书
2014/11/28 职场文书
布达拉宫的导游词
2015/02/02 职场文书
奖学金个人总结
2015/03/04 职场文书
安全生产协议书
2016/03/22 职场文书
慰问信(范文3篇)
2019/10/23 职场文书
python获取淘宝服务器时间的代码示例
2021/04/22 Python