post请求上的GAE软专用内存限制错误

Question

我正在开发一个应用程序，使用谷歌应用程序引擎的付费服务。在应用程序中，我正在解析一个大型xml文件，并试图将数据提取到数据存储中。但在执行此任务时，GAE向我抛出了一个错误，如下所示
我还试图通过将前端实例类从F1增加到F2来更改性能设置。

错误：在为总共14个请求提供服务后，超过了128 MB的软私有内存限制，为133 MB。处理此请求后，发现处理此请求的进程占用了太多内存，因此被终止。这可能会导致应用程序的下一个请求使用新进程。如果经常看到此消息，则应用程序中可能存在内存泄漏。

先谢谢你。

Answer 1

我有一个类似的问题，几乎可以肯定这是我的/tmp目录的使用导致的，这个目录是安装在内存中导致的。所以，如果您正在将任何文件写入/tmp，不要忘记删除它们！

另一个选择是，您实际上存在内存泄漏！它说，在服务14个请求之后，——这意味着功能更强大的实例只会延迟错误。我建议清理内存，现在我不知道您的代码是什么样子，我正在尝试以下代码：

import gc

# ...

@app.route('/fetch_data')
def fetch_data():
    data_object = fetch_data_from_db()
    uploader = AnotherHeavyObject()

    # ...
    response = extract_data(data_object)


    del data_object
    del uploader
    gc.collect()

    return response

在尝试了以上内容之后，现在看来问题出在与此相关的FuturesSessionhttps://github.com/ross/requests-futures/issues/20。因此，也许您正在使用的是另一个库—但请注意，其中一些库会泄漏内存—AppEngine会保留状态—因此未清除的内容都会保留在内存中，并影响同一实例上的后续请求。

Answer 2

我同意马里奥的回答。您可以选择升级到具有更多内存（如F2或F3）的实例类，或者以较小的块处理这些XML文件。

为了帮助您确定此任务的最佳路径，您需要知道要处理的这些XML文件的大小是否会增加。如果XML文件保持大约这个大小，您可能只需升级实例类即可快速修复。

如果文件的大小可以增加，那么增加实例内存只会在再次遇到此限制之前为您争取更多的时间。在这种情况下，理想的选择是使用流以更小的单位解析XML文件，占用更少的内存。在Python中，是xml。sax可以用来实现这一点，就像parse方法可以接受流一样。您需要实现自己的ContentHandler方法。

在您的情况下，文件来自POST请求，但如果文件来自云存储，您应该能够使用客户端库将内容流式传输到解析器。

Answer 3

当您遇到超出软私有内存限制错误时，您有两种选择：

1. 将您的实例升级到更强大的实例，这将为您提供更多的内存。
2. 减少在每个请求中处理的数据块。您可以将XML文件分割成更小的部分，并让更小的实例继续工作。