谷歌云数据流：使用DirectPipelineRunner（本地作业）访问管道中的谷歌云发布/订阅？

Question

我已经使用Google云数据流SDK编写了一个流式管道，但我想在本地测试我的管道。我的管道从Google Pub/Sub获取输入数据。

是否可以使用DirectPipelineRunner（本地执行，而不是在Google云中）运行访问发布/订阅（pubsubIO）的作业？

我在以普通用户帐户登录时遇到权限问题。我是项目的所有者，我正在尝试访问发布/子主题。

Answer 1

只是为了帮助任何想搜索这个的人，

使用最新版本，您可以做到这一点。如果要在本地运行管道，请使用“DirectRunner”在本地运行。使用“DataflowRunner”在云中运行此操作。

设置分段位置和流道，如下所示。

streamingOption.setStagingLocation(PipelineConstants.PUBSUB_STAGING_LOCATION);

streamingOption.setRunner(DataflowRunner.class);

或者将其作为参数传递。

你能详细阐述一下你所面临的权限问题吗？

Answer 2

DirectPipelineRunner当前不支持PubsubIO。当在本地使用时，您将收到一个错误，说明“没有为PubsubIO. Read注册评估器”。

您的权限问题可能来自其他来源。

Answer 3

InProcessPipelineRunner是Data Flow SDK for Java 1.6.0中引入的DirectPipelineRunner的新版本，其中包括对无边界PCollections的支持。

（注意：在Apache Beam中，此功能已经添加到DirectRunner中，但在Java数据流SDK中，我们要到2.0才能做到这一点，因为它更好地检查模型可能会导致额外的测试失败，我们认为这是一个向后不兼容的更改。因此，目前添加了配套的InProcessPipelineRunner。）

对于测试延迟和无序数据，还有一些新的强大支持。