NDB查询超过GAE软私有内存限制

Question

我目前有一个在Google App Engine标准环境中运行的应用程序，其中包括一个大型天气数据数据库和一个生成数据图的前端endpoint。该数据库位于Google云数据存储中，Python Flask应用程序通过NDB库访问它。

我的问题如下：当我试图为跨越一周以上的天气数据生成图表（数据每5分钟存储一次）时，我的应用程序超出了GAE的软私有内存限制并崩溃。然而，在我的每个WeatherData实体中存储的是我想要绘制的相关字段，此外还有一个非常大的json字符串，其中包含预测数据，我不需要这个绘制应用程序。因此，导致我的应用程序超出软私有内存限制的WeatherData实体部分在此应用程序中甚至不需要。

因此，我的问题如下：是否有任何方法可以只查询实体中的某些属性，例如可以对SQL样式查询中的特定列进行查询？同样，我不需要整个forecast json字符串来作图，只需要实体中存储的几个其他字段。我尝试运行的另一种方法是一次只提取几个实体，并将查询拆分为多个API调用，但结果耗时太长，页面将超时，我无法使其正常工作。

下面是我的代码，它目前是如何实现和破坏的。非常感谢您的任何意见：

wDataCsv = 'Time,' + ','.join(wData.keys())
qry = WeatherData.time_ordered_query(ndb.Key('Location', loc),start=start_date,end=end_date)
for acct in qry.fetch():
    d = [acct.time.strftime(date_string)]
    for attr in wData.keys():
        d.append(str(acct.dict_access(attr)))
        wData[attr].append([acct.time.strftime(date_string),acct.dict_access(attr)])
    wDataCsv += '\\n' + ','.join(d)

# Children Entity - log of a weather at parent location
class WeatherData(ndb.Model):
    # model for data to save
    ...
    # Function for querying data below a given ancestor between two optional
    # times
    @classmethod
    def time_ordered_query(cls, ancestor_key, start=None, end=None):
        return cls.query(cls.time>=start, cls.time<=end,ancestor=ancestor_key).order(-cls.time)

编辑：我尝试了下面答案链接中描述的迭代页面获取策略。我的代码已更新为以下内容：

wDataCsv = 'Time,' + ','.join(wData.keys())
qry = WeatherData.time_ordered_query(ndb.Key('Location', loc),start=start_date,end=end_date)
cursor = None
while True:
    gc.collect()
    fetched, next_cursor, more = qry.fetch_page(FETCHNUM, start_cursor=cursor)
    if fetched:
        for acct in fetched:
            d = [acct.time.strftime(date_string)]
            for attr in wData.keys():
                d.append(str(acct.dict_access(attr)))
                wData[attr].append([acct.time.strftime(date_string),acct.dict_access(attr)])
            wDataCsv += '\\n' + ','.join(d)
    if more and next_cursor:
        cursor = next_cursor
    else:
        break

其中FETCHNUM=500。在这种情况下，对于与以前相同长度的查询，我仍然超出了软私有内存限制，并且查询运行的时间要长得多。我怀疑问题可能在于Python的垃圾收集器没有删除重新引用的已经使用过的信息，但即使在我包含gc时也是如此。collect（）我看不出有什么改进。

编辑：

按照下面的建议，我使用投影查询修复了这个问题。我没有为每个自定义查询提供单独的投影，而是每次简单地运行相同的投影：即查询实体的所有属性，不包括JSON字符串。虽然这并不理想，因为它每次仍然从数据库中提取免费信息，但由于必要索引的指数增长，为每个特定查询生成单独查询是不可伸缩的。对于这个应用程序，因为每个附加属性是可以忽略的附加内存（除了形式json字符串），它的工作原理！

Answer 1

您可以使用投影查询仅从每个实体获取感兴趣的属性。不过，要注意这些限制。这仍然不能无限期地扩展。

您可以将查询拆分为多个请求（更具可伸缩性），但可以使用更大的块，而不仅仅是一对（一次可以获取500个）和游标。查看如何从google数据存储中删除所有条目的示例？

您可以将您的实例类碰撞到一个具有更多内存的类（如果尚未完成）。

您可以提前从大型实体中准备中间结果（也在数据存储中），并在最后阶段使用这些中间预计算值。

最后，您可以尝试创建和存储图形的一部分，并在最后将它们缝合在一起（只有在归结到这一点时，我不确定具体将如何完成，我想这不会是一件小事）。