DirectRunner不像我在Beam Java SDK中用FixedWindows指定的那样从pub/sub读取

Question

我目前正在使用Apache Beam Java SDK 2.8.0开发一个数据流管道，该管道从pub/sub读取流数据。管道只是来自Google的PubSubtotext.java模板。

https://github.com/googlecloudplatform/dataflowtemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/pubsubtotext.java

虽然使用DataflowRunner部署到云中的工作符合预期，但使用DirectRunner并不能正确运行，也就是说，当我在本地环境中工作时，这使得开发管道变得非常困难。

例如，当我将FixedWindows速率设置为30s时，云上的Dataflow Runner每30秒生成一次文件，这是预期的。

然而，当我在本地环境中为DirectRunner设置相同的速率时，它不会每30秒发出一次文件。相反，它以不稳定的方式生成文件。

例如，它在4分钟后发出第一个数据，并创建8个文件，实际上是一次生成的，然后在5分钟后生成，然后在3分钟后生成，等等，这使得本地开发过程极其耗时和令人沮丧。

我为什么要观察这个？

以下是再现问题的全部内容：

1. Git克隆https://github.com/googleCloudplatform/dataflowtemplates
2. 从pom.xml中删除beam-runners-direct-java的 test 行，使其在运行时支持DirectRunner。
3. 按照https://github.com/googlecloudplatform/dataflowtemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/pubsubtotext.java上的建议编译和运行程序，但将runner更改为DirectRunner，并添加--outputshardtemplate=w-p-ss-of-nn，这是省略的选项，在本地运行时是必需的。
4. 同时删除--project、--staginglocation和templocation行，因为它不会部署到云中。
5. 发出文件需要非常长的时间，尽管我设置了Windowduration=30s

我怀疑这是一个与pub/sub相关的问题，但当我运行tcpdump时，它开始连接到pub/sub并立即提取数据。这可能是一个DirectRunner特定的问题。

Answer 1

虽然我不知道为什么会这样，但我找到了解决这个问题的方法。虽然dataflowrunner不需要设置触发器以使其正常工作，但必须为directrunner指定显式触发器。

将.trrigering追加到window.into中，问题就消失了。