Scrapy：日志记录到没有ScrapyFileLogObserver（）的文件

Question

显然，我不应该再使用ScrapyFileLogObserver(http://doc.scraphy.org/en/1.0/topics/logging.html)。但是我仍然希望能够将我的日志消息保存到一个文件中，并且我仍然希望将所有标准的不稳定的控制台信息也保存到该文件中。

通过阅读如何使用日志模块，下面是我尝试使用的代码：

class BlahSpider(CrawlSpider):
    name = 'blah'
    allowed_domains = ['blah.com']
    start_urls = ['https://www.blah.com/blahblahblah']

    rules = (
        Rule(SgmlLinkExtractor(allow=r'whatever'), callback='parse_item', follow=True),
    )

    def __init__(self):
        CrawlSpider.__init__(self)
        self.logger = logging.getLogger()
        self.logger.setLevel(logging.DEBUG)
        logging.basicConfig(filename='debug_log.txt', filemode='w', format='%(asctime)s %(levelname)s: %(message)s',
                            level=logging.DEBUG)
        console = logging.StreamHandler()
        console.setLevel(logging.DEBUG)
        simple_format = logging.Formatter('%(levelname)s: %(message)s')
        console.setFormatter(simple_format)
        self.logger.addHandler(console)
        self.logger.info("Something")

    def parse_item(self):
        i = BlahItem()
        return i

它运行良好，并将“某些东西”保存到文件中。但是，我在命令提示符窗口中看到的所有东西，所有以前在我使用ScrapyFileLogObserver时保存到文件中的东西，现在都没有保存。

我以为我的带有“logging.streamHandler（）”的“console”处理程序应该处理这个问题，但这只是我读到的内容，我并不真正理解它是如何工作的。

谁能指出我缺了什么或者哪里出了问题吗？

谢谢你。

Answer 1

我认为问题是您同时使用了BasicConfig和AddHandler。

分别配置两个处理程序：

self.logger = logging.getLogger()
self.logger.setLevel(logging.DEBUG)

logFormatter = logging.Formatter('%(asctime)s %(levelname)s: %(message)s')

# file handler
fileHandler = logging.FileHandler("debug_log.txt")
fileHandler.setLevel(logging.DEBUG)
fileHandler.setFormatter(logFormatter)
self.logger.addHandler(fileHandler)

# console handler
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)
consoleHandler.setFormatter(logFormatter)
self.logger.addHandler(consoleHandler)

另见：

null