使用logging和pandas库将数据框记录到日志中

Question

我正在使用pandas处理数据框，并使用logging模块将中间结果、警告和错误记录到单独的日志文件中。同时，我还想在同一个日志文件中打印一些中间数据框。具体来说，我需要：

确保数据框能够与日志中的其他消息一起输出到同一日志文件（以便于调试并避免因调用多次to_csv保存多个中间文件）。
使用 logging（如DEBUG或INFO）控制日志详细程度，与其他非数据框相关的日志消息共用此设置。
通过一个独立变量更精细地控制日志详细程度，该变量决定要打印多少行数据框内容。
以每行一行的方式美化打印数据框切片，列对齐，并且每一行前面带有典型的日志元数据，例如240102 10:58:20 INFO:。

以下是我能想到的最佳实现方式，但似乎有些冗长。有没有更简洁、更Pythonic的方式来记录数据框切片？

import io
import logging
import pandas as pd

# 设置要在日志中打印的中间数据框行数（例如设置为20行左右）
MAX_NUM_DF_LOG_LINES = 4

logging.basicConfig(
    datefmt='%y%m%d %H:%M:%S',
    format='%(asctime)s %(levelname)s: %(message)s')
logger = logging.getLogger(__name__)

# 或者使用logging.DEBUG等
logger.setLevel(level=logging.INFO)

# 示例：一个简单的日志消息
logger.info('Reading input.')

TESTDATA="""
enzyme  regions   N   length
AaaI    all       10  238045
AaaI    all       20  170393
AaaI    captured  10  292735
AaaI    captured  20  229824
AagI    all       10  88337
AagI    all       20  19144
AagI    captured  10  34463
AagI    captured  20  19220
"""

df = pd.read_csv(io.StringIO(TESTDATA), sep='\s+')

# ...某些代码...

# 示例：包含数据框部分内容的日志消息（这里使用`head`方法，但可以是任意切片数据框的方法）
logger.debug('less important intermediate results: df:')
for line in df.head(MAX_NUM_DF_LOG_LINES).to_string().splitlines():
    logger.debug(line)

# ...更多代码...

logger.info('more important intermediate results: df:')
for line in df.head(MAX_NUM_DF_LOG_LINES).to_string().splitlines():
    logger.info(line)

# ...更多代码...

运行这段代码会输出：

240102 10:58:20 INFO: Reading input.
240102 10:58:20 INFO: more important intermediate results: df:
240102 10:58:20 INFO:   enzyme   regions   N  length
240102 10:58:20 INFO: 0   AaaI       all  10  238045
240102 10:58:20 INFO: 1   AaaI       all  20  170393
240102 10:58:20 INFO: 2   AaaI  captured  10  292735
240102 10:58:20 INFO: 3   AaaI  captured  20  229824

相关：

这些内容并未实现我想要的操作，但已越来越接近目标：

如何使用Python的logging模块打印多行日志？
- 注意其中这条评论提供了一个巧妙的方法，但它不够“Pythonic”，因为它在列表推导中调用print函数并丢弃结果：“请注意，由于map在py2中是惰性执行的，所以后者仅在py3中有效；你可以在py3上使用[logger.info(line) for line in 'line 1 line 2 line 3'.splitlines()]。—— Kyuuhachi, 2021年6月22日 16:30。”
- 同时，Qeek的回答存在一些问题：(a) 它缺少动态定义每次写入日志的最大数据框行数的功能（需要在整个脚本中定义一次，而不是每次调用logger时定义）；(b) 缺乏使用示例，因此难以理解。
将pandas Dataframe的打印输出写入或记录到日志中 - 这个方法会打印如下内容，即开头缺少时间戳和日志级别元数据：

240102 12:27:19 INFO: dataframe head -   enzyme   regions   N  length
0   AaaI       all  10  238045
1   AaaI       all  20  170393
2   AaaI  captured  10  292735
...

如何将数据帧记录到输出文件中 - 此答案与前一个答案相同。

VolkerK · Answer

当然可以，您可以将数据框的日志记录封装到一个函数中：

def log_df(level, df, n_rows, header):
    if isinstance(level, str):
        level = getattr(logging, level)
    
    # 记录头部信息
    logger.log(level, header)

    # 将数据框前n行转换为字符串并按行分割，然后逐行记录日志
    for line in df.head(n_rows).to_string().splitlines():
        logger.log(level, line)

# 使用示例
log_df("INFO", df, MAX_NUM_DF_LOG_LINES, '更重要的中间结果：df:')

Ralph · Answer

您所寻找的是一个自定义的Formatter类。使用它会更加Pythonic，因为它本身就是Python日志系统的一部分，并且提供了更好的灵活性和代码可读性。

import pandas as pd
import logging

class DataFrameFormatter(logging.Formatter):
    def __init__(self, fmt: str, n_rows: int = 4) -> None:
        self.n_rows = n_rows
        super().__init__(fmt)
        
    def format(self, record: logging.LogRecord) -> str:
        if isinstance(record.msg, pd.DataFrame):
            s = ''
            if hasattr(record, 'n_rows'):
                self.n_rows = record.n_rows
            lines = record.msg.head(self.n_rows).to_string().splitlines()
            if hasattr(record, 'header'):
                record.msg = record.header.strip()
                s += super().format(record) + '
'
            for line in lines:
                record.msg = line
                s += super().format(record) + '
'
            return s.strip()
        else:
            return super().format(record)
        
formatter = DataFrameFormatter('%(asctime)s %(levelname)-8s %(message)s', n_rows=4)
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)
ch = logging.StreamHandler()
ch.setFormatter(formatter)
logger.addHandler(ch)

df = pd.DataFrame({'a' : [1,2,3,4,5], 'bb': [10, 20, 30, 40 ,50]})

logger.info(df, extra={'header': "这是标题行"})
logger.debug('foo')    
logger.info(df, extra={'n_rows': 2})

这段代码将生成以下日志：

2024-01-09 15:09:53,384 INFO     这是标题行
2024-01-09 15:09:53,384 INFO        a  bb
2024-01-09 15:09:53,384 INFO     0  1  10
2024-01-09 15:09:53,384 INFO     1  2  20
2024-01-09 15:09:53,384 INFO     2  3  30
2024-01-09 15:09:53,384 INFO     3  4  40
2024-01-09 15:09:53,385 DEBUG    foo
2024-01-09 15:09:53,385 INFO        a  bb
2024-01-09 15:09:53,385 INFO     0  1  10
2024-01-09 15:09:53,385 INFO     1  2  20

通过这种方式，您可以轻松地通过extra参数控制header（头部信息）和n_rows（显示数据框的行数），如果未提供这些参数，则会使用默认值。