推迟了App Engine：跟踪内存泄漏

Question

我们有一个App Engine应用程序，可将许多较大文件写入Google Cloud
Store。这些文件是动态创建的CSV文件，因此我们将PythonStringIO.StringIO用作缓冲区和csv.writer写入该缓冲区的接口。

通常，我们的过程如下所示：

# imports as needed
# (gcs is the Google Cloud Store client)

buffer = StringIO.StringIO()
writer = csv.writer(buffer)

# ...
# write some rows
# ...

data = file_buffer.getdata()
filename = 'someFilename.csv'

try:
    with gcs.open(filename, content_type='text/csv', mode='w') as file_stream:
        file_stream.write(data)
        file_stream.close()

except Exception, e:
    # handle exception
finally:
    file_buffer.close()

据我们了解，它们csv.writer本身不需要关闭。而是，仅buffer上述内容和file_stream需要被关闭。

我们在deferred由App Engine的任务队列调用的中运行上述过程。最终，在几次调用我们的任务后，我们得到以下错误：

总共为11个请求提供服务后，超出了128 MB的软私有内存限制和142 MB

显然，我们的应用程序中存在内存泄漏。但是，如果上面的代码是正确的（我们承认可能不是这种情况），那么我们唯一的其他想法是通过为我们的请求提供服务来保留大量内存（如错误消息所示）。

因此，我们想知道在执行期间App Engine是否保留某些实体deferred。我们还应该注意，尽管有这些错误消息，我们的CSV最终还是成功写入了。

Answer 1

所描述的症状 不一定 表示应用程序内存泄漏。可能的替代解释包括：

• 应用程序的基准内存占用量（对于python之类的脚本语言沙箱来说，它可能大于实例启动时的占用量，请参阅前端和后端之间的内存使用量差异很大（并且很奇怪））对于html" target="_blank">配置的实例类而言可能太高了适用于应用程序/模块。要解决-选择更高的内存实例类（作为副作用，这也意味着更快的类实例）。或者，如果由于超出内存限制而导致的实例终止率是可以容忍的，则让GAE回收实例:)
• 活动高峰（尤其是在启用了多线程请求处理的情况下）意味着更高的内存消耗以及内存垃圾回收器的潜在超载。限制并行执行的请求数，在较低优先级的延迟任务处理中添加（较高）延迟，以及其他类似的措施（降低每个实例的平均请求处理率）可以帮助垃圾收集器有机会清除请求中的剩余内容。可伸缩性不应受到损害（使用动态缩放），因为其他实例将启动以帮助达到活动高峰。