抓取日志处理程序

Question

我在以下两个问题中寻求您的帮助-如何为不同的日志级别（如python）设置处理程序。目前，我有

STATS_ENABLED = True
STATS_DUMP = True

LOG_FILE = 'crawl.log'

但是Scrapy生成的调试消息也会添加到日志文件中。这些时间非常长，理想情况下，我希望将DEBUG级别的消息保留在标准错误上，并将INFO消息转储到我的LOG_FILE。

其次，在文档中，它说The logging service must be explicitly started through the scrapy.log.start() function.我的问题是，我应该在哪里运行它scrapy.log.start()？它在我的蜘蛛里面吗？

Answer 1

嗯，

只是想更新一下，我能够使用来获取日志文件处理程序到文件

from twisted.python import log
import logging
logging.basicConfig(level=logging.INFO, filemode='w', filename='log.txt'""")
observer = log.PythonLoggingObserver()
observer.start()

但是我无法获得日志来显示蜘蛛的名字，就像从标准错误中显示的那样。