使用cElementTree.iterparse解析XML的Python内存不足

Question

我的XML解析功能的简化版本在这里：

import xml.etree.cElementTree as ET

def analyze(xml):
    it = ET.iterparse(file(xml))
    count = 0

    for (ev, el) in it:
        count += 1

    print('count: {0}'.format(count))

这会导致Python的内存不足，这没有任何意义。我真正存储的唯一内容是计数，一个整数。

看到内存和CPU使用率突然下降了吗？那是Python的惊人崩溃。至少它给了我一个MemoryError（取决于我在循环中所做的事情，它给了我更多的随机错误，如IndexError）和堆栈跟踪而不是段错误。但是为什么会崩溃？

Answer 1

该文档确实告诉您“将XML节逐步地解析
到元素树中
（我的重点）”，但没有涉及如何避免保留不感兴趣的元素（可能是所有元素）。这是由覆盖本文由effbot。

我强烈建议使用的任何人.iterparse()都应该阅读Liza
Daly的这篇文章
。它涵盖了lxml[c]
ElementTree。