为什么lxml.etree.iterparse（）占用了我所有的内存？

Question

这最终会消耗我所有的可用内存，然后进程被杀死。我曾尝试将标签从更改schedule为“较小”标签，但这并没有什么不同。

我在做什么错/如何处理这个大文件iterparse()？

import lxml.etree

for schedule in lxml.etree.iterparse('really-big-file.xml', tag='schedule'):
    print "why does this consume all my memory?"

我可以轻松地将其切碎并以较小的块进行处理，但这比我想要的还要难看。

Answer 1

当iterparse遍历整个文件时，将构建一棵树，并且不会释放任何元素。这样做的好处是元素可以记住其父元素是谁，并且您可以形成引用祖先元素的XPath。缺点是它会消耗大量内存。

为了在解析时释放一些内存，请使用Liza Daly的fast_iter：

def fast_iter(context, func, *args, **kwargs):
    """
    http://lxml.de/parsing.html#modifying-the-tree
    Based on Liza Daly's fast_iter
    http://www.ibm.com/developerworks/xml/library/x-hiperfparse/
    See also http://effbot.org/zone/element-iterparse.htm
    """
    for event, elem in context:
        func(elem, *args, **kwargs)
        # It's safe to call clear() here because no descendants will be
        # accessed
        elem.clear()
        # Also eliminate now-empty references from the root node to elem
        for ancestor in elem.xpath('ancestor-or-self::*'):
            while ancestor.getprevious() is not None:
                del ancestor.getparent()[0]
    del context

然后可以这样使用：

def process_element(elem):
    print "why does this consume all my memory?"
context = lxml.etree.iterparse('really-big-file.xml', tag='schedule', events = ('end', ))
fast_iter(context, process_element)

我强烈推荐上述内容所依据的文章fast_iter；如果您要处理大型XML文件，这对您来说应该特别有趣。

在fast_iter上面介绍的文章中所示的一个略加修改的版本。这对于删除以前的祖先更具攻击性，从而节省了更多内存。