三句话，让 logger 言听计从

你日常的工作有遇到这样的场景吗？

A：最近要新开一个项目，配个 logger 来管理日志吧，我配！

import logging 
ori_logger = logging.getLogger('custom_logger') 
ori_logger.setLevel(logging.INFO) 
ori_logger.addHandler(logging.StreamHandler()) 
ori_logger.info('learn log') 
# learn log 
复制代码

B：Emmm。感觉日志丑丑的，NOT GOOD。为啥不试试 mmcv 的 get_logger 呢，功能齐全，一步到位。呐，链接拿去 github.com/open-mmlab/…。

• 终端日志

mmcv_logger = get_logger('mmcv_logger', log_file='a.log') 
mmcv_logger.info('learn log') 
# 2022-03-24 10:38:35,998 - mmcv_logger - INFO - learn log 
复制代码

• 日志文件

2022-03-24 10:37:25,832 - mmcv_logger - INFO - learn log 
复制代码

A：太方便了！时间戳、日志名、日志等级，甚至还贴心地为你保存了日志文件，一行代码轻松搞定。

mmcv 的 get_logger 到底是是如何配置出如此便利的 logger 的呢？只需要配置 logger 三宝： 日志等级（loglevel）、格式控制器（formatter） 和 日志处理器（handler），让 logger 对你言听计从。

Logging 之日志等级

Logging 模块的日志等级如下 ：

CRITICAL = 50         
FATAL = CRITICAL 
ERROR = 40            
WARNING = 30         
WARN = WARNING 
INFO = 20             
DEBUG = 10            
NOTSET = 0   
复制代码

Logging.Logger（本文中的 logger 为其实例）和 logging.Handler 的 level 属性，就表示对应实例的日志等级。当我们调用 logger.info(msg) 和 logger.warning(msg) 时，输出的消息也有日志等级。只有当消息的日志等级大于等于 logger.level 时，日志才有可能被输出。以我们上一期（logging 详解第一期：是谁偷偷动了我的 logger - 知乎 (zhihu.com)）中提到的 logging.root 为例：

import logging 
 
logger = logging.root 
print(logger.level)  # 30， warning。root 日志等级为 WARNING (30) 
logger.info("info msg")  # 日志等级为 INFO (20)，小于 WARNING，无消息 
logger.warning("warn msg")  # 日志等级为 WARNING (30)，输出消息 warn msg 
logger.error("erro msg")  # 日志等级为 ERROR (40)，输出消息 erro msg 
logger.setLevel(logging.ERROR) # 设置日志等级为 ERROR (40) 
print(logger.level)  # 40， ERROR 
logger.warning("warn msg")  # 无消息 
logger.error("erro msg")  # erro msg 
复制代码

logging.root 的日志等级为 WARNING，因此无法输出 INFO 级别的消息。当我们把日志等级调整成 ERROR 后，则会无法输出 WARNING 级别的消息。但是奇怪的是，第一期中我们提到，logging.root 默认情况下是一个胚胎，本身不具备输出日志的能力，为什么这里仍然能够输出 warning 和 error 级别的日志呢？ 这里先留一个疑问，在 Handler 一节会给出答案。

Logging 之 Handler

在解答上一节提出的问题之前，让我们回顾一下第一期的内容，既然 logging 模块是通过 Handler 来输出日志的，本节就先介绍 logging 模块的两大 Handler：streamHandler 和 fileHandler。

StreamHandler

• 向终端输出信息

配置了 StreamHandler 的 logger，可以和 print 一样向终端输出日志信息，示例如下：

logger = logging.root 
# 创建 streamHandler 
stream_handler = logging.StreamHandler() 
# 设置日志等级 
logger.setLevel(logging.INFO) 
logger.info("learn logging")  # 没有配置 Handler，终端不会输出日志 
# 为 root logger配置 Handler 
logger.addHandler(stream_handler) 
logger.info("learn logging")  #  配置 Handler，输出日志 
复制代码

• 向文件输出日志信息

实例化 StreamHandler 时，如果 stream 配置成写入的目标文件，就能将日志存储到文件中。

f = open('output.txt', 'w') 
logger = logging.root 
logger.setLevel(logging.INFO) 
stream_handler = logging.StreamHandler(stream=f) 
logger.addHandler(stream_handler) 
logger.warning("learn logging")  # 此时 learn logging 会被写入到 output.txt 中 
f.close() 
复制代码

FileHandler

FileHandler​ 继承自 StreamHandler，可以指定写入文件的编码格式，相比于 StreamHandler 更加灵活，易于使用:

logger = logging.root 
logger.setLevel(logging.INFO) 
# 设置输出文件和编码方式 
file_handler = logging.FileHandler('output.txt', encoding='utf-8') 
logger.addHandler(file_handler) 
logger.info("WARNING")  # 此时 learn logging 会被写入到 output.txt 中 
复制代码

Handler 的日志等级

Handler 也有自己的日志等级。一条消息想经过 Handler 输出，需要同时满足消息的日志等级大于 logger 的日志等级和 handler 的日志等级。

logger = logging.root 
logger.setLevel(logging.DEBUG)  # logger 的日志等级为 DEBUG 
handler = logging.StreamHandler() 
handler.setLevel(logging.INFO)  # handler 的日志等级为 INFO 
logger.addHandler(handler) 
logger.debug('learn logging')  # 不满足 handler，无法被输出 
logger.info('learn logging')  # 同时满足 logger 含 handler，正常输出 
复制代码

Logging 的暗箱操作

• 没有 handler 也能输出日志？

首先讲结论，logger 在没有 handler 的情况下，其本身是不具备输出消息能力的，streamHandler 的第一个例子已经说明了这个问题。但是为什么 logger.warning(msg) 和 logger.error(msg) 能够在不配置 handler 的情况下，输出日志呢？这其实是 logging 模块的保护机制， 对于 warning 和 error 级别的消息，如果消息的日志等级大于 logger 的日志等级，且 logger 没有配置任何的 handler，则会调用 logging 模块内置的 streamHandler 来输出信息。

为了证明这个逻辑，我们给 logger 配置一个 fileHandler，此时 logger.warning(msg) 就不会在终端输出日志了。

logger = logging.root 
logger.warning("learn logging")  # 输出日志到终端 
file_handler = logging.FileHandler('output.txt', encoding='utf-8') 
logger.addHandler(file_handler) 
logger.warning("learn logging")  # 不会输出日志到终端 
复制代码

• 坑爹的 logging.xxx

当你开心地调用 logging.info，logging.warning 时，你以为只是输出了一条日志，实际上可能给 logging.root 偷偷配置了 streamHandler。

logging.info('learn logging') 
print(logging.root.handlers) 
# [<StreamHandler <stderr> (NOTSET)>] 
复制代码

你可能会想，就多了个 streamHandler 嘛，这有啥。还记得被多重日志支配的恐怖么 。为什么使用 pytorch 1.10 突然出现了多重日志？追根溯源，是因为 pytorch 1.10 的 DistributedDataParallel 模块在 forward 过程中调用了 logging.info ，进而 logging.root 多出了一个 streamHandler（该过程发生在 mmcv.get_logger 之后，handler 的日志等级没有被设置成 ERROR），最终导致多重日志的发生。

Logging 之 Formatter

如果说配置 Handler 相当于教 logger 说话，那么为 handler 配置 formatter 就相当于教 logger “优雅” 的说话。

给日志加上“主语”

我们可以通过配置 formatter，让 logger 输出的日志自带 logger 名。

logger = logging.root 
handler = logging.StreamHandler() 
handler.setFormatter(Formatter('%(name)s - %(message)s')) 
logger.addHandler(handler) 
logger.setLevel(logging.INFO) 
logger.info('learn logging') 
# root - learn logging 
复制代码

这样输出的日志就会自带 “root” 日志名。

给日志加上时间

小学语文老师肯定教过，时间地点人物是七要素的前三甲，时间更是位居榜首，因此我们可以通过配置 formatter，让日志携带时间信息。

logger = logging.root 
handler = logging.StreamHandler() 
handler.setFormatter(Formatter('%(asctime)s - %(name)s - %(message)s')) 
logger.addHandler(handler) 
logger.setLevel(logging.INFO) 
logger.info('learn logging') 
# 2022-03-22 01:36:42,900 - root - learn logging 
复制代码

给日志加上等级

日志等级可以凸显日志的重要性，例如我们会特别注意携带 ERROR 字段的日志。因此我们可以通过 formatter 让日志携带等级信息。

logger = logging.root 
handler = logging.StreamHandler() 
handler.setFormatter(Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')) 
logger.addHandler(handler) 
logger.setLevel(logging.INFO) 
logger.info('learn logging') 
# 2022-03-22 01:46:26,667 - root - INFO - learn logging 
复制代码

欸，有那味儿了，是不是和 OpenMMLab 系列的日志如出一辙？实际上 mmcv 配置 logger 的过程也是类似的，并且还有着更加全面的 handler 配置逻辑: mmcv/logging.py at master · open-mmlab/mmcv (github.com)，大家可以参考借鉴哈。

小结

理解 loglevel、handler 和 formatter 的概念后，我们自己也可以动手写一个简易版的配置 logger 函数。

def custom_get_logger(name, out_file, log_level): 
    # 设置日志名 
    logger = logging.getLogger(name) 
    # 设置日志等级
    logger.setLevel(log_level) 
    # 设置格式 
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s' 
                                  ' - %(message)s') 
    # 配置输出日志到终端的 Handler 
    stream_handler = logging.StreamHandler() 
    stream_handler.setFormatter(formatter) 
    # 配置保存日志到文件的 Handler 
    file_handler = logging.FileHandler(out_file) 
    file_handler.setFormatter(formatter) 
    # 添加 Handler 
    logger.addHandler(file_handler) 
    logger.addHandler(stream_handler) 
    return logger 
 
custom_logger = custom_get_logger('custom_logger', 'a.log', 'INFO') 
custom_logger.info('learn log') 
# 2022-03-24 11:18:52,120 - custom_logger - INFO - learn log 
复制代码

通过 custom_get_logger 接口获取的 logger，日志格式好看，也能存储到本地备份，基本和 mmcv 对齐。不过这样配置的 logger 还存在一些隐患，例如上期提到的多重日志。要想解决这些问题，我们不妨再回过头去看 mmcv.get_logger 的代码，相信经过这一期的学习，很多逻辑就变得容易理解。
至此 logging 模块的基本功能就介绍得差不多了，但是 logging 还存在一些隐式的暗箱操作，如果想彻底搞懂 logging 模块，敬请期待下一期的内容哦~

如果我们的分享给你带来一定的帮助，欢迎点赞收藏关注，比心~

OpenMMLab：logging 详解第一期：是谁偷偷动了我的 logger21 赞同 · 2 评论文章