将所有celery任务的日志消息发送到单个文件

Question

我想知道如何设置更具体的日志记录系统。我所有的任务都使用

logger = logging.getLogger(__name__)

作为整个模块的记录器。

我希望celery登录到“ celeryd.log”，而我的任务登录到“
tasks.log”，但我不知道如何使它工作。使用CELERYD_LOG_FILEdjango-
celery可以将所有与celeryd相关的日志消息路由到celeryd.log，但是没有跟踪在我的任务中创建的日志消息。

Answer 1

注意：此答案在Celery
3.0上已经过时，现在您可以在此处使用它get_task_logger()来设置每任务记录器。有关详细信息，请参见“
Celery
3.0的新增功能”文档的“日志记录”部分。

Celery为每个任务提供了专门的日志记录支持。请参阅有关此主题的任务文档：

您可以使用工作日志记录器将诊断输出添加到工作日志：

@celery.task()
def add(x, y):
    logger = add.get_logger()
    logger.info("Adding %s + %s" % (x, y))
    return x + y

有多个日志记录级别可用，并且worker日志级别设置决定是否将它们写入日志文件。

当然，您也可以简单地使用print，因为任何写入标准out / -err的内容也将被写入日志文件。

在后台，这仍然是标准的python日志记录模块。您可以将CELERYD_HIJACK_ROOT_LOGGER选项设置为False，以允许您自己的日志记录设置起作用，否则Celery将为您配置处理方式。

但是，对于任务，.get_logger()调用确实允许您为每个单独的任务设置单独的日志html" target="_blank">文件。只需传入一个logfile参数，它将日志消息路由到该单独的文件：

@celery.task()
def add(x, y):
    logger = add.get_logger(logfile='tasks.log')
    logger.info("Adding %s + %s" % (x, y))
    return x + y

最后但并非最不重要的一点是，您可以在python日志记录模块中配置顶级程序包，并为其提供自己的文件处理程序。我将使用celery.signals.after_setup_task_logger信号进行设置；在这里，我假设您所有的模块都生活在一个名为foo.tasks（如foo.tasks.email和中foo.tasks.scaling）的包中：

from celery.signals import after_setup_task_logger
import logging

def foo_tasks_setup_logging(**kw):
    logger = logging.getLogger('foo.tasks')
    if not logger.handlers:
        handler = logging.FileHandler('tasks.log')
        formatter = logging.Formatter(logging.BASIC_FORMAT) # you may want to customize this.
        handler.setFormatter(formatter)
        logger.addHandler(handler)
        logger.propagate = False

after_setup_task_logger.connect(foo_tasks_setup_logging)

现在，任何以名字开头的记录器foo.tasks都将发送其所有消息，tasks.log而不是发送到根记录器（由于.propagateFalse
，它不会看到任何这些消息）。