Google App Engine可以用于大规模并行计算吗？

Question

在大约2011年3月，我测试了GAE（Java版本）作为大规模并行计算的潜在平台。该日期很重要，因为GAE一直在发展。我发现该应用程序被有效地限制在大约43.2倍的计算吞吐量上。
是否有人成功使用GAE进行大规模并行计算或获得了更高的计算增益？ 出于这个问题的目的，我将任意定义大规模并行计算，以表示大于1000倍的计算吞吐量。

我使用了一个桌面客户端，该客户端实例化了多个线程来访问URL。我正在使用GAE任务队列。无论是数据存储区还是HTML，该应用程序所需的输入量很少，产生的输出也很少，因为它旨在评估计算吞吐量。

由于通常建议将GAE任务保持在1秒以下（尽管目前尚不清楚此建议是否适用于任务队列任务），因此我尝试了各种排列方式。我的一些结果包括在这里。如您所见，即使执行0.8秒的任务（与1秒以下的建议一致），吞吐量也达到43.2倍的峰值。

Elapsed    Tasks        SecondsOf     Total   Gain
Seconds    Requested    WorkPerTask   Work

FLT (FEW LARGE TASKS)
15         72           1             72      4.9
103        72           20            1440    14.0
1524       72           400           28800   18.9

MST (MANY SMALL TASKS)
53         1000         0.8           800     15.1
63         2000         0.8           1600    25.4
127        4000         0.8           3200    25.2
313        4000         0.8           3200    10.2
258        8000         0.8           6400    24.8

177        8000         0.8           6400    36.2 (Have 5% of tasks do nothing.)

49         2000         0.8           1600    32.7 (Have 1% of tasks do nothing.)
37         2000         0.8           1600    43.2 (Have 5% of tasks do nothing.)
42         2000         0.8           1600    38.1 (Have 10% of tasks do nothing.)
249        2000         0.8           1600    6.4  (Have 50% of tasks do nothing.)

MLT (MANY LARGE TASKS)
6373       1000         200           200000  31.4
380        200          60            12000   31.6

请注意，对于“任务队列”任务，建议不要超过600秒，因此，我为了达到安全性考虑，最高只能达到400秒。有些任务无能为力的情况是降低每个任务必须完成的平均工作量，以影响整个Google的“会计”。因此，每个2000个任务有0.8秒的工作时间，但是还有222个任务没有工作，这意味着10％的工作没有工作。

编辑：@PeterRecore，我正在测量吞吐量增益，它是totalWorkInSeconds除以elapsedTimeInSeconds，并且在客户端进行测量。客户端发出请求并测量直到所有GAE任务完成为止的经过时间，这由每个发送一个很小的响应表示。我试图找出GAE的当前形式是否可用于创建实现高吞吐量增益值的应用程序。在2011年3月，似乎不太可能。今天怎么样？以及如何完成或您实际如何进行？达到了什么水平的吞吐率？就像我说过的，数据存储区的使用是最少的，并且由每个任务组成，每个任务在完成任务后都会写入一个很小的对象。每个任务循环为与secondsOfWorkPerTask成比例的整数。GAE分解实例是问题的一部分。Google告诉人们他们喜欢次秒级的任务，从而使这个问题更加恶化。如果我有大量任务，则可以缓解此问题，因为实例化所使用的周期数所占的百分比较小。

Answer 1

App Engine实际上并不是为用作大量计算任务的后端而设计的-
它是为快速高效地服务可伸缩网站（以及API）而设计的。它所做的并没有围绕您要实现的目标进行优化。