一、logging日志框架

为啥引入logging模块：

Pythonic八荣八耻之一：以打印日志为荣 , 以单步跟踪为耻（print输出的信息都到了标准输出）。很多项目代码中都需要记录日志（如程序正常访问日志、错误、警告等信息输出等），使用Python中的logging模块就能存储各种格式的日志（如运行日志、输出日志的等级、日志保存路径、日志文件回滚等）。
logging优势：重要性别级可选（如debug、info、warning、error 以及 critical），通过赋予logger或handler不同的级别，就能值输出错误信息到特定的记录文件中，或在调试时只记录调试信息。

logging日志框架的四个部分：

Loggers: 可供程序直接调用的接口，app通过调用提供的api来记录日志
Handlers: 决定将日志记录分配至正确的目的地
Filters:对日志信息进行过滤，提供更细粒度的日志是否输出的判断
Formatters: 制定最终记录打印的格式布局

1.1 loggers

loggers 就是程序可以直接调用的一个日志接口，可以直接向logger写入日志信息。logger并不是直接实例化使用的，而是通过logging.getLogger(name)来获取对象，事实上logger对象是单例模式，logging是多线程安全的，也就是无论程序中哪里需要打日志获取到的logger对象都是同一个。但logger并不支持多进程。

【注意】loggers对象是有父子关系的，当没有父logger对象时它的父对象是root，当拥有父对象时父子关系会被修正。举个例子，logging.getLogger("abc.xyz") 会创建两个logger对象，一个是abc父对象，一个是xyz子对象，同时abc没有父对象，所以它的父对象是root。但是实际上abc是一个占位对象（虚的日志对象），可以没有handler来处理日志。但是root不是占位对象，如果某一个日志对象打日志时，它的父对象会同时收到日志，所以有些使用者发现创建了一个logger对象时会打两遍日志，就是因为他创建的logger打了一遍日志，同时root对象也打了一遍日志。

1.2 Handlers

Handlers 将logger发过来的信息进行准确地分配，送往正确的地方。example：送往控制台或者文件或者both或者其他地方(进程管道之类的)。它决定了每个日志的行为，是之后需要配置的重点区域。

每个Handler同样有一个日志级别，一个logger可以拥有多个handler也就是说logger可以根据不同的日志级别将日志传递给不同的handler。当然也可以相同的级别传递给多个handlers这就根据需求来灵活的设置了。

1.3 Filters

Filters 提供了更细粒度的判断，来决定日志是否需要打印。原则上handler获得一个日志就必定会根据级别被统一处理，但是如果handler拥有一个Filter可以对日志进行额外的处理和判断。例如Filter能够对来自特定源的日志进行拦截or修改甚至修改其日志级别（修改后再进行级别判断）。

logger和handler都可以安装filter甚至可以安装多个filter串联起来。

1.4 Formatters

Formatters 指定了最终某条记录打印的格式布局。Formatter会将传递来的信息拼接成一条具体的字符串，默认情况下Format只会将信息%(message)s直接打印出来。Format中有一些自带的LogRecord属性可以使用。

二、事件等级

日志中各级别适用性如下（严重性递增），默认级别是WARNING，即会追踪该级别以上的所有事件

级别	何时使用
DEBUG	细节信息，仅当诊断问题时适用。
INFO	确认程序按预期运行。
WARNING	表明有已经或即将发生的意外（例如：磁盘空间不足）。程序仍按预期进行。
ERROR	由于严重的问题，程序的某些功能已经不能正常执行
CRITICAL	严重的错误，表明程序已不能继续执行

【栗子1】如下INFO信息没有出现，默认级别是WARNING，会忽略DEBUG和INFO级别消息。但是注意如果level设置为INFO也是会输出DEBUG的信息，因为它被涉及为一次性的配置，只有第一次调用会进行该操作（随后的调用，不能产生有效操作）。

import logging
logging.info('info')
logging.warning('warning')
'''
命令行中的输入结果：
WARNING:root:warning
'''

【栗子2】记录日志到txt文件中
设置的阈值是DEBUG，所以所有等级的信息都会被打印。对basicConfig()的调用应该在debug()、info()等之前

import logging
log_filename = '/home/andy/torch_rechub_n/examples/logging.txt'
# 设置的阈值是DEBUG，所以所有等级的信息都会被打印
logging.basicConfig(filename=log_filename, level=logging.DEBUG)
logging.debug('debug')
logging.info('info')
logging.warning('warning')
logging.error('error')

在这里插入图片描述
【栗子3】连续运行的消息可以追加到之前的txt文件中，如果不需要追加（想重新开始记录）则可以修改filemode参数。

logging.basicConfig(filename=log_filename, filemode='w', level=logging.DEBUG)
logging.info('***************')
logging.debug('debug')
logging.info('info')
logging.info('***************')
logging.debug('debug')
logging.info('info')
logging.debug('debug')
logging.info('***************')

三、多模块使用logging配置

3.1 通过继承关系实现

首先定义了loggermainModule，并对它进行了配置，就可以在解释器进程里面的其他地方通过getLogger('mainModule')得到的对象都是一样的，不需要重新配置，可以直接使用。定义的该logger的子logger，都可以共享父logger的定义和配置，所谓的父子logger是通过命名来识别，任意以mainModule开头的logger都是它的子logger，例如mainModule.sub。

实际开发一个application，首先可以通过logging配置文件编写好这个application所对应的配置，可以生成一个根logger，如PythonAPP，然后在主函数中通过fileConfig加载logging配置，接着在application的其他地方、不同的模块中，可以使用根logger的子logger，如PythonAPP.Core，PythonAPP.Web来进行log，而不需要反复的定义和配置各个模块的logger。

import logging

logger = logging.getLogger('mainModule')
logger.setLevel(level=logging.INFO)

formatter = logging.Formatter(
    '%(asctime)s - %(name)s - %(levelname)s - %(message)s')

handler = logging.FileHandler('log.txt')
handler.setLevel(logging.INFO)
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)

logger.addHandler(handler)
logger.addHandler(console)

# 在其他模块导入该日志接口module_logger即可
module_logger = logging.getLogger('mainModule.sub')
module_logger.info('this is another module using logging')

3.2 通过YAML文件配置

version: 1
disable_existing_loggers: False
formatters:
        simple:
            format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers:
    console:
            class: logging.StreamHandler
            level: DEBUG
            formatter: simple
            stream: ext://sys.stdout
    info_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: INFO
            formatter: simple
            filename: info.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
    error_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: ERROR
            formatter: simple
            filename: errors.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
loggers:
    my_module:
            level: ERROR
            handlers: [info_file_handler]
            propagate: no
root:
    level: INFO
    handlers: [console,info_file_handler,error_file_handler]

通过YAML加载配置文件，通过logging.dictConfig配置logging。如下，就可以在运行程序的时候调用setup_logging来启动日志记录了。它默认会读取logging.json或logging.yaml文件。

import yaml
import logging.config
import os

def setup_logging(default_path = "logging.yaml",default_level = logging.INFO,env_key = "LOG_CFG"):
    path = default_path
    value = os.getenv(env_key,None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path,"r") as f:
            config = yaml.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level = default_level)

def func():
    logging.info("start func")

    logging.info("exec func")

    logging.info("end func")

if __name__ == "__main__":
    setup_logging(default_path = "logging.yaml")
    func()

Reference

[1] Python官方文档关于logging的介绍：https://docs.python.org/zh-cn/3/library/logging.html?highlight=logging#module-logging
[2] 以打印日志为荣之logging模块详细使用

Python的logging用法（日志记录工具）

文章目录