谷歌应用程序引擎数据库查询内存使用情况

Question

当我对一大群小对象（15k只有几个短字符串和布尔属性的对象）运行查询时，没有对这些对象做任何事情，我看到我的实例的内存使用量不断增加（增加了70Mb）。内存的增加看起来与查询所需的内存数据量不成比例。

我使用的循环如下所示：

cursor = None
while True:
  query = MyModel.all()
  if cursor:
    query.with_cursor(cursor)
  fetched = 0
  for result in query.run(batch_size = 500):
    fetched += 1

    # Do something with 'result' here. Actually leaving it empty for 
    # testing to be sure I don't retain anything myself

    if fetched == 500:
      cursor = query.cursor()
      break
  else:
    break

为了确保这不是由于appstats造成的，我调用appstats。记录。dont_record（）不记录任何统计数据。

有人知道会发生什么吗？或者关于如何调试/配置文件的任何提示？

更新1：我打开了gc。在生产代码上设置_debug（gc.debug_STATS），我看到垃圾收集器被定期调用，因此它正在尝试收集垃圾。当我调用gc时。collect（）在循环结束时（也是请求结束时）；它返回0，但没有帮助。

更新2：我做了一些黑客攻击来让孔雀鱼dev_appserver，这似乎表明，在循环结束时，在一个显式的gc.collect（）之后，大部分内存被消耗了google.appengine.datastore.entity_pb。财产'。

Answer 1

我已经向appengine团队报告了这一点，他们似乎确认这实际上是一个问题（怀疑与游标的处理有关）。

Answer 2

每个模型实体都有一些过头。

查询将对象作为Protobufs返回给启动器。

因此，您将为结果集创建一系列批处理的protobuf。

然后它被解码。每个解码实体包括属性名称以及每个实体的数据。你有15K实体。例如，你的财产名称有多大。

因此，在内存中至少有两个结果集的副本，其形式多种多样（可能更多），不包括对模型类实例所做的任何其他操作。

您的代码/循环没有进行垃圾收集的机会，这可以/将在以后发生。

看看像appTrace这样的工具来帮助内存分析。