GCP数据流批处理作业-防止工人在批处理作业中一次运行多个元素
我正在尝试在GCP数据流中运行批处理作业。工作本身有时会占用大量内存。目前，工作一直在崩溃，因为我相信每个工作人员都在试图同时运行pcollection的多个元素。有没有办法防止每个工人一次运行多个元素？
共有1个答案
Beam的原理是编写一个处理描述，并让运行时环境（这里是数据流）运行它并自动分发它。你无法控制它在引擎盖下做什么。
不过你可以尝试不同的东西
- 创建一个窗口，并在窗格中的每个元素中触发它。我不知道这是否有助于更好地并行分发流程，但您可以尝试一下
-
Spring批处理作业与flatfileitemreader（从csv读取）、processor（更新adwords api提要详细信息，对于csv文件中的每个记录（大约有40条记录），这一步大约需要40秒）和正在更新DB中记录的定制writer一起使用。 web.xml
-
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。
-
我有一个MyObject流，我想将它批量持久化到DB中(不是一个接一个，而是一次1000个)。所以我想做一个转变，就像 其中每个列表都有一些固定大小的批处理大小。有没有办法用标准的Java 8 Stream API做到这一点？
-
我正在使用spring批处理读取CSV文件并使用controller触发器将其写入DB。在启动应用程序时，在我从浏览器url中点击之前，我会在启动时看到来自阅读器的打印语句。虽然它不为我的处理器或写入器打印它，它们是在单独的类中，我已经自动连线。是因为读者是豆子吗？
-
我在BatchScheduler中有多个计划作业，它在特定时间运行。简单的内置JobLauncher，这是同步的。在自然界中最初使用。现在，我想并行运行这些作业，这样没有作业可以等待其他作业完成。 我在不同的作业上尝试过@Async注释，但都不起作用。 然后，我尝试设置joblauncher.settaskexecutor（新的SimpleAsyncTaskExecutor（））。但这并不奏效。
-
我们正试图建立关于如何在大型IT服务中使用Spring Batch的标准，并具有不同的商业利益。 我们可能会有几个属于不同业务领域的批次。我们已经知道其中一些必须从所有批次通用的表中获取一些参数（即Java和COBOL；例如日期参数）。 我们将实现的Spring批处理作业的数量很难评估。没有重写现有COBOL批次的目标，只要有可能，就鼓励连续流程处理。 一些关于概念证明的问题不时出现，但目前几乎没