为Dataflow v2.1编写自定义无边界接收器

Question

我正在使用mvn依赖项google-cloud d-dataflow-java-sdk-all版本2.1.0，我正在尝试为我的管道添加一个自定义Sink。

在管道中，我正在检索Pubsub消息，并最终将这些消息转换为PCollection of Strings。

这是我设置的管道的简化版本：

Pipeline pipeline = Pipeline.create(options);
pipeline.apply(PubsubIO.readMessages())
     .apply(Window.into(FixedWindows.of(Duration.standardSeconds(1))))

//transformations

.apply(//Write to custom sink)

我需要自定义Sink的原因是因为团队中的其他人已经编写了将这些数据写入BigQuery的代码，并为此提供了一个REST API。因此，我的Sink将使用相关数据调用此REST API。我不热衷于使用BigQueryIO，因为这将涉及复制已经编写的部分代码。

问题是，我在Apache Beam网站上找不到任何关于使用Java SDK编写自定义接收器的文档，因此如果有人能给我一个正确的方向，我将不胜感激。

我也考虑过只使用ParDo将数据发送到REST API，但从技术上讲，我将不再有接收器，也不会使用“数据流方式”。

Answer 1

对于无界接收器，Beam中没有接收器特定的API。所有IO转换本质上都实现了ParDo。有一些技术可以提供特定的保证（例如，使用GroupByKey在数据流中提供检查点屏障），这取决于您与外部系统的交互（在这种情况下是REST API）。看起来编写ParDo是您的最佳选择。