是否可以获得给定键的上一个窗口的状态

Question

我有一个相当简单的管道（代码比文字更好）：

events
 .apply("SessionWindow", Window.
          <KV<String, Event>>into(Sessions.withGapDuration(gapSession)
          .triggering(<early and late data trigger>))
 .apply("GroupByKey", GroupByKey.create())
 .apply("ComputeState", ParDo.of(new StatefulFn()))

我的问题是，对于给定的窗口，我必须根据以下内容计算新的状态：

1. 上一个状态（即上一个窗口的计算状态）
2. 接收的事件

我希望避免调用外部服务来获取上一个状态，而是获取上一个窗口的状态。有可能吗？

Answer 1

在Apache中，Beam状态的作用域始终是每个窗口（也请参见此答案）。所以我只能想到重新窗口到全局窗口中，并在那里处理状态。在这个全局statefulfn中，您可以存储和处理先前的状态。

然后它看起来是这样的：

events
 .apply("SessionWindow", Window.
          <KV<String, Event>>into(Sessions.withGapDuration(gapSession)
          .triggering(<early and late data trigger>))
 .apply("GroupByKey", GroupByKey.create())
 .apply("Re-window into Global Window", Window.
          <KV<String, Event>>into(new GlobalWindows())
          .triggering(<early and late data trigger>))
 .apply("ComputeState", ParDo.of(new StatefulFn()))

还请注意，到目前为止，Apache Beam还不支持用于合并窗口的有状态处理（请参见此问题）。因此，当触发器发出会话窗口的早期或晚期结果时，基于会话窗口的statefulfn将无法正常工作，因为状态没有合并。这是使用全局窗口这样的非合并窗口的另一个原因。