GAE Python:解析压缩的XML超出内存

Question

我正在尝试获取XML文件并将其解析到数据库中。XML是用GZIP压缩的。GZIP文件是~8MB。当我在本地运行代码时，pythonw上的内存将被占用。exe的版本升级到整个系统（Windows 7）停止响应的级别，当我在线运行它时，它超过了Google App Engine上的内存限制。不确定文件是否太大或我是否做错了什么。任何帮助都将不胜感激！

from google.appengine.ext import webapp
from google.appengine.api.urlfetch import fetch
from xml.dom.minidom import parseString
import gzip
import base64
import StringIO

class ParseCatalog(webapp.RequestHandler):
user = xxx
password = yyy
catalog = fetch('url',
                    headers={"Authorization": 
                             "Basic %s" % base64.b64encode(user + ':' + password)}, deadline=600)
xmlstring = StringIO.StringIO(catalog.content)
gz = gzip.GzipFile(fileobj=xmlstring)
gzcontent = gz.read()
contentxml = parseString(gzcontent)
items = contentxml.getElementsByTagName("Product")

for item in items:
    item = DatabaseEntry()
    item.name = str(coupon.getElementsByTagName("Manufacturer")[0].firstChild.data)
    item.put()

使现代化

所以我试着按照BasicWolf的建议切换到LXML，但在导入它时遇到了问题。我下载了lxml2.3库并将其放入我的应用程序文件夹中（我知道这并不理想，但这是我知道如何包含第三方库的唯一方法）。此外，我在我的应用程序中添加了以下内容。亚马尔：

libraries:
- name: lxml
  version: "2.3"

然后我编写了以下代码来测试它是否解析：

import lxml

class ParseCatalog(webapp.RequestHandler):
    user = xxx
    password = yyy
    catalog = fetch('url',
                    headers={"Authorization": 
                             "Basic %s" % base64.b64encode(user + ':' + password)}, deadline=600)
    items = etree.iterparse(catalog.content)

    def get(self): 
       for elem in items:
           self.response.out.write(str(elem.tag))

但是，这会导致以下错误：

ImportError: cannot import name etree

我已经检查了关于这个错误的其他问题，似乎我在Windows7上运行的事实可能起到了作用。我还尝试从中安装预编译的二进制软件包http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml，但这也没有改变任何事情。

Answer 1

你期待什么？首先，将字符串读入内存，然后-将其解压缩到内存中，然后-构造一个DOM树，仍然在内存中。

以下是一些改进：

1. del每个缓冲区变量在您不需要它的时候