Google Cloud Dataflow中的自动缩放功能没有达到预期

Question

我试图在我的数据流作业中启用自动伸缩，如本文所述。我通过以下代码设置了相关的算法来做到这一点：

DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);

options.setAutoscalingAlgorithm(AutoscalingAlgorithmType.THROUGHPUT_BASED)

在我设置了这个并部署了我的工作后，它总是与最大值一起工作。可用CPU的数量，即如果我将工作人员的最大数量设置为10，那么它将使用所有10个CPU，尽管平均CPU使用率约为50%。这个基于THROUGHPUT_BASED的算法是如何工作的，我在哪里犯了错误？

谢了。

Answer 1

尽管Autoscaling试图减少积压和CPU，但减少积压优先。具体值backlog很重要，Dataflow将“以秒为单位的backlog”计算为“backlog/吞吐量”，并试图将其保持在10秒以下。

在您的例子中，我认为阻止从10向下扩展的原因是关于用于流水线执行的持久磁盘的策略。当最大workers为10，Dataflow使用10个持久磁盘，并试图在任何时候保持worker的数量，以便这些磁盘大致平均分布。因此，当管道的最大工作人员为10人时，它试图缩小到5人，而不是7或8人。此外，它试图在缩小规模后保持投影CPU不超过80%。

在您的情况下，这两个因素可能会有效地防止缩放。如果10个工人的CPU利用率为50%，那么5个工人的预计CPU利用率为100%，因此不会降低，因为它高于80%的目标。