抑制GCP数据流？
使用标准的GCP提供的存储/文本文件来发布Sub数据流模板，但是尽管我已经设置了#workernodes eq 1，但是对于下游组件来说，处理的消息吞吐量“太高”。
在 Pub/Sub 中的消息事件上运行的 Cloud 函数会命中 GCP 配额，并且使用 CloudRun，我在开始时收到一堆 500、429 和 503 个错误（由于步进突发率）。
有没有办法控制数据流的处理速率？需要获得更软/更慢的启动，以便下游组件有时间进行扩展。
有人吗？
共有1个答案
您可以使用有状态ParDo来实现这一点，您可以在其中批量缓冲事件，并一次使用所有密钥进行API调用。这里用代码片段很好地解释了这一点
-
Previously, the filestore had a problem when handling large numbers of small ios. We throttle dirty data implicitely via the journal, but a large number of inodes can be dirtied without filling the jo
-
我正在构建一个事件驱动的微服务架构，它应该是云不可知的（尽可能多）<由于这最初是在GCP中进行的，我不想在配置和所有这些方面花费太长时间，我打算直接将GCP的发布/订阅用于事件队列，并在稍后处理其他云实现，但后来我遇到了Spring云数据流，这看起来很好，因为这些是Spring Boot微服务，我需要一种方法来协调它们 Spring Cloud数据流是否支持Pub Sub作为事件队列？ 在配置和设
-
假设我有数据帧，： 打印行0值： 结果： 我想取消显示名称：0，数据类型：float64行，这样我就可以得到： 有人知道怎么做吗？ （注意，我将此附加到文本文件）
-
我已经通过。但是，我注意到Reshuffle（）没有出现在发行版中。这是否意味着我将不能在任何数据流管道中使用？有什么办法可以绕过这个吗？或者pip包可能只是不是最新的，如果Reshuffle（）在github的master中，那么它将在Dataflow上可用？ 根据对这个问题的回答，我试图从BigQuery中读取数据，然后在将数据写入GCP存储桶中的CSV中之前对数据进行随机化。我注意到，我用来
-
描述 (Description) 您可以使用bean内省机制来抑制特定属性。 专用BeanIntrospector接口由名为SuppressPropertiesBeanIntrospector的类型实现，该类型SuppressPropertiesBeanIntrospector Java bean的特殊类属性。 需要提供属性名称的集合，这些属性名称在创建实例时无法在bean上访问。 如果这些属性由
-
我很难理解GCP数据流/Apache Beam和Spring Cloud数据流之间的差异。我试图做的是转向一个更云原生的解决方案，用于流数据处理，这样我们的开发人员可以更专注于开发核心逻辑，而不是管理基础设施。 我们有一个现有的流解决方案，由Spring云数据流“模块”组成，我们可以独立迭代和部署，就像微服务一样，效果很好，但我们希望迁移到我们的业务提供的GCP现有平台，要求我们使用GCP数据流。