当内存利用率超过限制时扩展GAE

Question

我正在使用GAE执行高内存需求的繁重任务。我得到了以下错误：

Exceeded soft memory limit of 512 MB with 561 MB 
after servicing 3 requests total. 
Consider setting a larger instance class in app.yaml.

由于任务很昂贵，我假设两个应用程序可以在一个实例中工作。但它不适用于三种应用：

While handling this request, 
the process that handled this request was found to be using 
too much memory and was terminated. 
This is likely to cause a new process to be used 
for the next request to your application. 
If you see this message frequently, 
you may have a memory leak in your application or may be 
using an instance with insufficient memory.
Consider setting a larger instance class in app.yaml.

我的当前设置：

runtime: nodejs8
instance_class: B4
basic_scaling:
max_instances: 10
idle_timeout: 1m

我还尝试了以下设置：

runtime: nodejs8
instance_class: F4
automatic_scaling:
  target_cpu_utilization: 0.5
  max_instances: 10

执行任务的失败是“超出了软内存限制”。因此，为了解决这个错误，我认为扩展应该基于“内存利用率”而不是“cpu利用率”。

当内存利用率超过限制时，如何进行横向扩展？

Answer 1

动态实例调度程序的决策不是基于实例内存使用情况。从缩放动态实例：

appengine调度程序决定是否使用现有实例（空闲或接受并发请求的实例）为每个新请求提供服务，将请求放入挂起的请求队列，或为该请求启动新实例。该决策考虑了可用实例的数量、应用程序服务请求的速度（延迟）以及启动新实例所需的时间。

您收到的所有错误消息都显示在错误发生之前处理的请求数量非常少，这表明内存不足非常严重。

不清楚的是，高内存使用率是来自单个请求，还是与多个并发请求相关，即请求同时命中一个实例（或者距离太近，内存释放机制无法跟上）。但这可以通过实验来确定。

如果多个并发的传入请求驱动实例内存使用超过阈值，您可以尝试通过控制target_throughput_utilization和/或max_concurrent_requests旋钮来处理它：

目标吞吐量利用率

设置并发请求数的吞吐量阈值，在此之后将启动更多实例来处理流量。

最大并发请求

设置调度程序生成新实例之前实例可以接受的最大并发请求。

如果在实例不同时处理多个请求的情况下也达到了内存限制（或者如果您希望能够同时为更多实例提供服务—通常是为了降低成本），那么解决该问题的唯一方法就是使用具有更多内存的实例类。您尝试的F4和B4类都有512M，tryF4_1G/B4_1G，它们都有1G。