应用引擎延迟：跟踪内存泄漏

Question

我们有一个应用程序引擎应用程序，它将许多相对较大的文件写入谷歌云商店。这些文件是动态创建的CSV，因此我们使用Python的StringIO。StringIO作为缓冲区和csv。writer作为写入该缓冲区的接口。

通常，我们的流程如下所示：

# imports as needed
# (gcs is the Google Cloud Store client)

buffer = StringIO.StringIO()
writer = csv.writer(buffer)

# ...
# write some rows
# ...

data = file_buffer.getdata()
filename = 'someFilename.csv'

try:
    with gcs.open(filename, content_type='text/csv', mode='w') as file_stream:
        file_stream.write(data)
        file_stream.close()

except Exception, e:
    # handle exception
finally:
    file_buffer.close()

据我们所知，csv。writer不需要自己关闭。相反，只需要关闭上面的缓冲区和文件流。

我们在appengine的任务队列调用的延迟的中运行上述过程。最终，在调用了几次任务后，我们会出现以下错误：

在为总共11个请求提供服务后，超过了128 MB的软专用内存限制，达到142 MB

显然，我们的应用程序内存泄漏。然而，如果上面的代码是正确的（我们承认可能不是这样），那么我们唯一的另一个想法是，通过服务我们的请求（如错误消息所示），一些大量的内存被保存。

因此，我们想知道在执行延迟的过程中，appengine是否保留了一些实体。我们还应该注意，尽管有这些错误消息，我们的CSV最终还是成功地编写了。




Answer 1

所描述的症状不一定表示应用程序内存泄漏。可能的替代解释包括：

• 对于为应用程序/模块配置的实例类而言，应用程序的基线内存占用（对于python等脚本语言沙盒而言，基线内存占用可能大于实例启动时的占用，请参阅前端和后端之间的内存使用情况大不相同（奇怪的是））可能太高。修复-选择一个内存更高的实例类（作为副作用，这也意味着一个更快的实例类）。或者，如果由于超出内存限制而导致的实例终止率是可以容忍的，那么让GAE回收实例：）
• 活动峰值，特别是在启用多线程请求处理时，意味着更高的内存消耗和内存垃圾收集器的潜在过载。限制并行执行的请求数量、在低优先级延迟任务处理中添加（更高）延迟以及其他类似措施降低每个实例的平均请求处理速率，都有助于垃圾收集器清除请求中的剩余内容。可伸缩性不应该受到损害（使用动态伸缩），因为其他实例将被启动以帮助达到活动峰值

相关Q

• 应用程序引擎（python）如何跨请求管理内存（超过软私有内存限制）
• 谷歌应用程序引擎数据库查询内存使用情况
• googlendb库中的内存泄漏