如何在apache beam/dataflow中消除重叠滑动窗口

Question

我有以下要求：

• 从酒吧子主题读取事件
• 取一个持续时间为30分钟、周期为1分钟的窗口
• 在该窗口中，如果给定id的3个事件都匹配某个谓词，那么我需要在不同的pub子主题中引发一个事件
• 应该在第3个事件进入分组id时立即引发该事件，因为这是为了检测欺诈行为。在一个窗格中，有许多ID，其中有3个事件与我的谓词匹配，所以我可能需要在每个窗格中发出多个事件

1. 由于滑动窗口重叠，输出PCollection包含重复项。我明白这是滑动窗口的预期行为，但我如何避免这种情况，同时保持在相同的数据流管道中。我意识到我可以在外部系统中删除，但这只会增加我的系统的复杂性。
2. 我还需要编写某种触发器，每次在窗口中达到我的条件时都会触发
3. 数据流是否适合这种类型的实时检测方案

多谢

Answer 1

1. 可以将输出pcollection重新窗口到全局窗口中（使用常规的window.into())，并使用groupbykey.
2. 听起来好像已经将感兴趣的事件作为pcollection返回。为了“为每个事件做一些事情”，您所需要的只是应用于此集合的pardo.of（无论您想要什么操作）。触发器还做其他事情：它们控制当groupbykey 中的特定键k出现新值v时会发生什么：是删除该值，还是缓冲该值，或者传递缓冲的kv 以便下游处理。
3. 是:)