Apache Beam会话窗口化和跨PCollections连接

Question

null

Answer 1

这是正确的-您可以这样做，因为windows在您执行分组操作时发挥作用。这意味着您可以像这样做一些简单的事情：

p = beam.Pipeline(...)

# Assume that timestamp information is already in the streams
first_stream = p | ReadMyFirstStream() | beam.WindowInto(window.Sessions(...))
second_stream = p | ReadMySecondStream() | beam.WindowInto(window.Sessions(...))

joined_streams = (
    {'first': first_stream,
     'second': second_stream}
    | beam.CoGroupByKey())

连接的流PCollection将生成窗口，其中来自两个流的元素被分组在一起。

这也适用于Java。为了简单起见，我使用Python进行了回答。如果您更喜欢Java代码，请告诉我。