编程 Python

详解python logging日志传输

Posted in Python onJuly 01, 2020

1.生成日志并通过http传输出去（通过HTTPHandler方式）：

#生成并发送日志
import logging
from logging.handlers import HTTPHandler
import logging.config

def save():
  logger = logging.getLogger(__name__)
  # 生成一个log实例，如果括号为空则返回root logger
  hh = HTTPHandler(host='127.0.0.1:5000', url='/log', method='POST')
  #用HTTPHandler直接发送日志，而并不是写文件再传文件。
  logger.setLevel(logging.INFO)
  #设置日志最低输出级别为info
  logger.addHandler(hh)
  #添加Handler对象给记录器（为logger添加的日志处理器，可以自定义日志处理器让其输出到其他地方）
  logger.info('存入600元') # 输出日志，内容为‘存入600元'
save()

2.用flask接收传过来的日志：

#flask接收日志
from flask import Flask,request
app = Flask(__name__)



@app.route('/log',methods=['POST'])
def say_hello():
  #查看传过来的数据格式：
  print(request.mimetype)
  #HTTPHandler传过来的是个form表单
  print(request.form.to_dict())
  return '<h1>Hello, Flask!</h1>'


if __name__ == '__main__':
  app.run()


输出：
#这是传过来的数据格式，是个form表单
application/x-www-form-urlencoded 

#这是form.to_dict解析出来的内容（直接解析成了字典）
{'name': '__main__', 'msg': '存入600元', 'args': '()', 'levelname': 'INFO', 'levelno': '20', 'pathname': 'C:/Users/huawei/Desktop/code/log/send_log.py', 
'filename': 'send_log.py', 'module': 'send_log', 'exc_info': 'None', 'exc_text': 'None', 'stack_info': 'None', 'lineno': '15', 
'funcName': 'save', 'created': '1593581146.172768', 'msecs': '172.76811599731445', 'relativeCreated': '176.5270233154297',
 'thread': '13904', 'threadName': 'MainThread', 'processName': 'MainProcess', 'process': '3656'}

3.logging模块介绍

Python的logging模块提供了通用的日志系统，熟练使用logging模块可以方便开发者开发第三方模块或者是自己的Python应用。同样这个模块提供不同的日志级别，并可以采用不同的方式记录日志，比如文件，HTTP、GET/POST，SMTP，Socket等，甚至可以自己实现具体的日志记录方式。下文我将主要介绍如何使用文件方式记录log。

1.基本概念：

logging模块包括logger，handler，filter，formatter这四个基本概念。

logging模块与log4j的机制是一样的，只是具体的实现细节不同。模块提供logger，handler，filter，formatter。

logger：提供日志接口，供应用代码使用。logger最长用的操作有两类：配置和发送日志消息。可以通过logging.getLogger(name)获取logger对象，如果不指定name则返回root对象，多次使用相同的name调用getLogger方法返回同一个logger对象。
handler：将日志记录（log record）发送到合适的目的地（destination），比如文件，socket等。一个logger对象可以通过addHandler方法添加0到多个handler，每个handler又可以定义不同日志级别，以实现日志分级过滤显示。
filter：提供一种优雅的方式决定一个日志记录是否发送到handler。
formatter：指定日志记录输出的具体格式。formatter的构造方法需要两个参数：消息的格式字符串和日期字符串，这两个参数都是可选的。

与log4j类似，logger，handler和日志消息的调用可以有具体的日志级别（Level），只有在日志消息的级别大于logger和handler的级别。

import logging
logging.basicConfig(level=logging.DEBUG,
  format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
  datefmt='%a, %d %b %Y %H:%M:%S',
  filename='myapp.log',
  filemode='w')
#################################################################################################
#定义一个StreamHandler，将INFO级别或更高的日志信息打印到标准错误，并将其添加到当前的日志处理对象#
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)
#################################################################################################
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
 
屏幕上打印:
root : INFO This is info message
root : WARNING This is warning message
./myapp.log文件中内容为:
Sun, 24 May 2009 21:48:54 demo2.py[line:11] DEBUG This is debug message
Sun, 24 May 2009 21:48:54 demo2.py[line:12] INFO This is info message
Sun, 24 May 2009 21:48:54 demo2.py[line:13] WARNING This is warning message

2.主要用法：

logging.StreamHandler: 日志输出到流，可以是sys.stderr、sys.stdout或者文件

logging.FileHandler: 日志输出到文件

日志回滚方式，实际使用时用RotatingFileHandler和TimedRotatingFileHandler

logging.handlers.BaseRotatingHandler

logging.handlers.RotatingFileHandler

logging.handlers.TimedRotatingFileHandler

logging.handlers.SocketHandler: 远程输出日志到TCP/IP sockets

logging.handlers.DatagramHandler: 远程输出日志到UDP sockets

logging.handlers.SMTPHandler: 远程输出日志到邮件地址

logging.handlers.SysLogHandler: 日志输出到syslog

logging.handlers.NTEventLogHandler: 远程输出日志到Windows NT/2000/XP的事件日志

logging.handlers.MemoryHandler: 日志输出到内存中的制定buffer

logging.handlers.HTTPHandler: 通过"GET"或"POST"远程输出到HTTP服务器

举例：

import logging
import sys
# 获取logger实例，如果参数为空则返回root logger
logger = logging.getLogger("AppName")
# 指定logger输出格式
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')
# 文件日志
file_handler = logging.FileHandler("test.log")
file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式
# 控制台日志
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter # 也可以直接给formatter赋值
# 为logger添加的日志处理器，可以自定义日志处理器让其输出到其他地方
logger.addHandler(file_handler)
logger.addHandler(console_handler)
# 指定日志的最低输出级别，默认为WARN级别
logger.setLevel(logging.INFO)
# 输出不同级别的log
logger.debug('this is debug info')
logger.info('this is information')
logger.warn('this is warning message')
logger.error('this is error message')
logger.fatal('this is fatal message, it is same as logger.critical')
logger.critical('this is critical message')
# 2016-10-08 21:59:19,493 INFO : this is information
# 2016-10-08 21:59:19,493 WARNING : this is warning message
# 2016-10-08 21:59:19,493 ERROR : this is error message
# 2016-10-08 21:59:19,493 CRITICAL: this is fatal message, it is same as logger.critical
# 2016-10-08 21:59:19,493 CRITICAL: this is critical message
# 移除一些日志处理器
logger.removeHandler(file_handler)

4.概述：

python的logging模块（logging是线程安全的）给应用程序提供了标准的日志信息输出接口。logging不仅支持把日志输出到文件，还支持把日志输出到TCP/UDP服务器，EMAIL服务器，HTTP服务器，UNIX的syslog系统等。在logging中主要有四个概念：logger、handler、filter和formatter，下面会分别介绍。

1.logger

Logger对象扮演了三重角色：

它给应用程序暴漏了几个方法，以便应用程序能在运行时记录日志。

Logger对象根据日志的级别或根据Filter对象，来决定记录哪些日志。

Logger对象负责把日志信息传递给相关的handler。

在Logger对象中，最常使用的方法分为两类：configuration，message sending。 configuration方法包括：

setLevel(level)

setLevel(level)方法用来设置logger的日志级别，如果日志的级别低于setLevel(level)方法设置的值，那么logger不会处理它。

logging模块内建的日志级别有：

CRITICAL = 50
FATAL = CRITICAL
ERROR = 40
WARNING = 30
WARN = WARNING
INFO = 20
DEBUG = 10
NOTSET = 0 （数值越大级别越高）
addFilter(filter)
removeFilter(filter)
addHandler(handler)
removeHandler(handler)

message sending方法包括：

debug(log_message, [*args[, **kwargs]])

使用DEBUG级别，记录log_message % args。