谷歌存储上传的可扩展性问题（来自GAE）

Question

我的应用程序连接到G套件域，一个罕见的功能允许下载列出所有用户的csv。

该文件保存到谷歌存储并从那里下载。

虽然它在普通域中运行良好，但更大的域（½M用户）存在可伸缩性问题。CSV变得巨大，导致：

Exceeded soft private memory limit of 128 MB with 340 MB after servicing 9 requests total

据我所知，我不能做增量上传，我能想到的每一个变通方法都必须在某个时候将文件保存在内存中。

有什么我不知道的变通方法吗？

开箱即用的思维方式，比如增量存储到驱动器？而是避免额外的范围。

Answer 1

我以前在应用引擎上实现过这样的批量导出功能。我这样做是通过使用应用程序引擎通过API启动临时计算引擎VM。一旦计算VM启动，它将运行一个简单的脚本，然后关闭自己。

计算引擎VM的优点是，您可以自由写入临时磁盘空间，从而节省内存。默认情况下，GCE实例有10GB的根磁盘，希望这足够了，但这可以增加。

在GCE实例中，您可以调用您的谷歌办公套件API，并将您的导出构建为磁盘上的临时文件，然后当它准备好时，您可以使用驱动器或谷歌云存储API上传它。然后让计算引擎实例关闭自己。

从AppEngine使用GCEAPI并不像听起来那么难。我写了一篇详细的博客文章，描述了如何在appengine上设置一个可以控制计算引擎实例的web服务。最后，它链接到github上的一个完整的可部署示例。您必须编写脚本才能进行导出，但如果您可以制作脚本的Docker映像，此服务可以运行它！

Answer 2

如果您保持能够将整个文件（和/或其相关数据）保留在内存中的要求，那么唯一的解决方案是通过应用程序中的实例类配置项，使用具有更多内存的GAE实例类。yaml配置文件。

当然，这个解决方案只能在内存需求低于一个可用实例类的可用内存的情况下工作，它不会无限期地随CSV大小扩展。