详解Python中logging日志模块在多进程环境下的使用


Posted in Javascript onDecember 26, 2016

前言

相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析。Python 的 logging 模块就是这种情况下的好帮手。

logging 模块可以指定日志的级别,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别。(如果不特别指定,默认级别是 warning)

logging 还可以指定输出到命令行或者文件,还可以按时间或大小分割日志文件。

关于 logging 的详细使用,这里就不再细说,可以参考官方文档,或者这里的介绍。

logging 的配置

通常情况下,我们需要将日志保存到文件中,并期望能自动分割文件,避免日志文件太大。下面给出了一个 logging 的配置例子。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

我们在一个模块内,就可以这么使用来记录日志

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

按照官方文档的介绍,logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的。但是(对,这里有个但是)多个进程往同一个文件写日志不是安全的。官方的说法是这样的:

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有的人会说,那我不用多进程不就可以了。但是 Python 有一个 GIL 的大锁(关于 GIL 的纠葛可以看这里),使用多线程是没法利用到多核 CPU 的,大部分情况下会改用多进程来利用多核 CPU,因此我们还是绕不开不开多进程下日志的问题。

为了解决这个问题,可以使用 ConcurrentLogHandler,ConcurrentLogHandler 可以在多进程环境下安全的将日志写入到同一个文件,并且可以在日志文件达到特定大小时,分割日志文件。在默认的 logging 模块中,有个 TimedRotatingFileHandler 类,可以按时间分割日志文件,可惜 ConcurrentLogHandler 不支持这种按时间分割日志文件的方式。

重新修改下 handlers 中的 class。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类,在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行后可以发现,会自动创建一个.lock文件,通过锁的方式来安全的写日志文件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
jquery UI 1.72 之datepicker
Dec 29 Javascript
Node.js 服务器端应用开发框架 -- Hapi.js
Jul 29 Javascript
JavaScript对数字的判断与处理实例分析
Feb 02 Javascript
JS实现模拟百度搜索“2012世界末日”网页地震撕裂效果代码
Oct 31 Javascript
原生js的数组除重复简单实例
May 24 Javascript
JavaScript正则表达式exec/g实现多次循环用法示例
Jan 17 Javascript
JS基于正则实现数字千分位用逗号分隔的方法
Jun 16 Javascript
Bootstrap实现下拉菜单多级联动
Nov 23 Javascript
Vue调试神器vue-devtools安装方法
Dec 12 Javascript
Vue cli构建及项目打包以及出现的问题解决
Aug 27 Javascript
node全局变量__dirname与__filename的区别
Jan 14 Javascript
Vue 的 v-model用法实例
Nov 23 Vue.js
Angular的事件和表单详解
Dec 26 #Javascript
Angular的MVC和作用域
Dec 26 #Javascript
JS中用try catch对代码运行的性能影响分析
Dec 26 #Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
Dec 26 #Javascript
Angular的$http与$location
Dec 26 #Javascript
Angular ng-repeat指令实例以及扩展部分
Dec 26 #Javascript
详解Angular的内置过滤器和自定义过滤器【推荐】
Dec 26 #Javascript
You might like
PHP 模拟登陆MSN并获得用户信息
2009/05/16 PHP
PHP中将网页导出为Word文档的代码
2012/05/25 PHP
PHP把JPEG图片转换成Progressive JPEG的方法
2014/06/30 PHP
PHP实现绘制3D扇形统计图及图片缩放实例
2014/10/01 PHP
PHP使用file_get_content设置头信息的方法
2016/02/14 PHP
YII Framework框架教程之缓存用法详解
2016/03/14 PHP
浅谈PHP的反射机制
2016/12/15 PHP
PHP聊天室简单实现方法详解
2018/12/08 PHP
动感效果的TAB选项卡jquery 插件
2011/07/09 Javascript
为原生js Array增加each方法
2012/04/07 Javascript
javascript获取选中的文本的方法代码
2013/10/30 Javascript
js定时器(执行一次、重复执行)
2014/03/07 Javascript
用C/C++来实现 Node.js 的模块(一)
2014/09/24 Javascript
JavaScript中对象介绍
2014/12/31 Javascript
AngularJS表单编辑提交功能实例
2015/02/13 Javascript
JS实现淡蓝色简洁竖向Tab点击切换效果
2015/10/06 Javascript
javascript实现tab切换的两个实例
2015/11/05 Javascript
javascript类型系统——undefined和null全面了解
2016/07/13 Javascript
js实现倒计时效果(小于10补零)
2017/03/08 Javascript
angular.js实现列表orderby排序的方法
2018/10/02 Javascript
CountUp.js实现数字滚动增值效果
2019/10/17 Javascript
vue中touch和click共存的解决方式
2020/07/28 Javascript
使用vant的地域控件追加全部选项
2020/11/03 Javascript
利用Python代码实现一键抠背景功能
2019/12/29 Python
Python使用QQ邮箱发送邮件实例与QQ邮箱设置详解
2020/02/18 Python
python打开文件的方式有哪些
2020/06/29 Python
python如何删除列为空的行
2020/07/17 Python
新加坡鲜花速递/新加坡网上花店:Ferns N Petals
2020/08/29 全球购物
Ruby如何创建一个线程
2013/03/10 面试题
元旦联欢会主持词
2014/03/26 职场文书
年终晚会活动方案
2014/08/21 职场文书
婚姻出轨保证书
2015/05/08 职场文书
pytorch实现手写数字图片识别
2021/05/20 Python
VS2019连接MySQL数据库的过程及常见问题总结
2021/11/27 MySQL
苹果可能正在打击不进行更新的 App
2022/04/24 数码科技
Windows Server 2008 修改远程登录端口以及配置防火墙
2022/04/28 Servers